# 24.10.15_ ollama 로컬에서 사용

해당 글은 window에서 ollama를 사용해 보려고 하다가 오류를 반복한 끝에 실행하는 방법을 정리해서 작성한 것이다. (더 좋은 방법이 존재할 수 있음), 단편적으로 다른 글들을 보고 따라하다가는 오류가 많이 발생할 수 있으니 주위!

• 오류 발생을 격다가 오류 계속 발생할꺼 같으니 가상환경 만들어서 하자해서 가상환경을 별도로 만들어서 진행

window에서 ollama 사용

• ollama 홈페이지에서 window 버전 다운
• 다운 후 실행하면 자동 실행됨(다음날 사용시 다시 실행시켜주어야함)

 

• 해당 이미지처럼 모델 부분 클릭

• 위 이미지에 명령어를 cmd창에 입력
• 자동으로 run llama3.2버전이 실행됨

 

• 위와같이 자동으로 잡아줘서 동작하고 내가 원하는 커멘드를 집어 넣으면 해당 내용에 대한 답변을 진행해줌
• 이후 아래 코드를 사용해서 작동하면 아래와 같음
• 코드를 이용하기 전 ollama pull openchat을 먼저 해주어야함

 

# ollama01.py import ollama response = ollama.chat(model='openchat', messages=[   {     'role': 'user',     'content': '하늘은 왜 푸른지 설명해줘.',   }, ]) print(response['message']['content'])

 

 

• 아래 코드 사용전에 cmd창에서 !pip install requests 먼저 진행
• 이후 동일하게 실행해주면 됨

# ollama02.py import requests def query_ollama(model_name, prompt):     url = "http://localhost:11434/api/generate"     headers = {"Content-Type": "application/json"}     data = {         "model": model_name,         "prompt": prompt,         "stream": False     }     response = requests.post(url, headers=headers, json=data)     response.raise_for_status()     response_data = response.json()     print(response_data)     # return response_data['response'] if __name__ == "__main__":     model = "openchat"     prompt = "하늘은 왜 푸르게 보일까?"     result = query_ollama(model, prompt)     # print(result)