올라마( 라마3.1, 라마3.2 ) + 시멘틱 커널(c#) 조합으로 로컬 AI를 구성하고 

몇일 가지고 놀아봤는데... 

프롬프트가 개짜증나네...ㅡ.,ㅡ;;;

MSI 노트북 4060( 8GB )으로 돌리는데... 

파워쉘:

 ollama ps  

결과 :: 사용하는 자원이 뭔지 보여준다. 처음엔 CPU 100% 떴는데... 설정 바꾸고 GPU100%가 뜬다.

처음엔 GPU타는줄 알고 있다가 작업관리자로 GPU0(내장), GPU1(외장)을 보니 내장? 그리고 CPU로 동작하는 것을 보고

드라이버도 업데이트하고 

시스템 > 디스플레이 > 그래픽

       > 앱추가 로 올라마, 올라마서버, 올라마 앱을 등록해놓고 

       > 각 앱별로 GPU 기본 설정을 "고성능(NVIDIA Geforce RTX 4060 Laptop GUP)"

       > 설정 후 재부팅. 

이후로 GPU가 동작하는 것을 보고. 프롬프트를 이리 저리 바꿔보는데...

로컬AI라서 그런지??? 크롬-제미나이, 엣지-코파일럿 에 동일한 질의문을 던졌을때와는 결과 값을 받는게 너무 다르다. 

  다른점! 제미나이, 코파일럿은 일정하게 앞에 붙는 문구들을 제약하면 제대로 값이 나온다. 

       이 라마3.1이나 3.2는 제약을 해도 쌩까고 붙여준다. 

       예시) "결과: 30" 이 나오는데 "결과:" 붙이지 말라고 해도 붙어서 온다.

이상한 설명이 붙거나, 하지 말라고 지시문에 넣어도 "결과:" 이게 붙네?... 

이렇게 되면 로컬AI에서 받은 답변을 또 뭔가 바꾸고 해야 하는데...

-----------

llama3.2 로 지정하면 GPU 전용 메모리 2.5GB가 할당되는걸 볼 수 있다. 

llama3.1 로 지정하면 GPU 전용 메모리 4.5GB가 할당되는걸 볼 수 있다.

시멘틱커널로 호출할때 지정할 수 있는데... 바꾸면 메모리 바뀌는 것도 보이는데...

프롬프트가 각 버전마다 좀 달라져야 하는 것 같다. 

동일한 프롬프트로 버전만 바꾸면 적용이 안된다. 

프롬프트를 잘 못 작성해서 그런가? 이거 쉽지 않네.

----------------

프롬프트 인식을 제대로 못해서 gemma2:9b-instruct-q4_K_M으로 모델을 바꿨다.

대신 플러그인 기능을 사용할 수 없으니... 프롬프트에 데이타를 묶어서 던지는 것으로 바꾼다.

 llama3.1, llama3.2는 

"10, 20, 30 중 15보다 큰 것들을 보여줘." 라고 보내면

온갖 문구들을 가져다 붙인다. 그래서 temperature=0 으로 보냈는데도 붙인다. 

미사여구, 설명, 친절하지 말라등등.. 다 붙여봤는데... 소용없다. 

그리고 10, 20, 30을 결과로 줄때도 있었다. 

이걸 올라마 콘솔에서 해보면 제대로 준다. 시멘틱커널에서 보낼때 뭔가 작용하는 듯 하고... 

모델을 바꾸고 해보면 gpu전용메모리에 6GB를 점유한다. 

'속담까지는 모르네...'