Ollama 로컬 AI

# Ollama 로컬 AI 가이드

## 1. Ollama란?
로컬에서 LLM을 실행할 수 있는 도구입니다. 인터넷 없이 AI를 사용할 수 있습니다.

## 2. 설치

### macOS
```bash
brew install ollama
```

### Linux
```bash
curl -fsSL https://ollama.com/install.sh | sh
```

### Windows
공식 사이트에서 설치 파일 다운로드

## 3. 기본 명령어
```bash
ollama run llama3 # Llama 3 실행
ollama run mistral # Mistral 실행
ollama run codellama # 코드 전용 모델
ollama run llava # 이미지 분석 모델

ollama list # 설치된 모델 목록
ollama pull llama3 # 모델 다운로드
ollama rm llama3 # 모델 삭제
ollama show llama3 # 모델 정보
```

## 4. 인기 모델
| 모델 | 크기 | 용도 |
|------|------|------|
| llama3:8b | 4.7GB | 범용 |
| llama3:70b | 40GB | 고성능 |
| mistral | 4.1GB | 빠른 응답 |
| codellama | 3.8GB | 코딩 |
| llava | 4.5GB | 이미지+텍스트 |

## 5. API 사용
```bash
# 서버 시작 (기본 11434 포트)
ollama serve
```

```python
import requests

response = requests.post("http://localhost:11434/api/generate", json={
"model": "llama3",
"prompt": "Hello, how are you?",
"stream": False
})
print(response.json()["response"])
```

## 6. Python 라이브러리
```bash
pip install ollama
```

```python
import ollama

response = ollama.chat(model="llama3", messages=[
{"role": "user", "content": "Why is the sky blue?"}
])
print(response["message"]["content"])

# 스트리밍
for chunk in ollama.chat(model="llama3", messages=[...], stream=True):
print(chunk["message"]["content"], end="")
```

## 7. 커스텀 모델 (Modelfile)
```
# Modelfile
FROM llama3
SYSTEM You are a helpful Korean assistant. Always respond in Korean.
PARAMETER temperature 0.7
```

```bash
ollama create my-korean-ai -f Modelfile
ollama run my-korean-ai
```

## 8. LangChain 연동
```python
from langchain_community.llms import Ollama

llm = Ollama(model="llama3")
response = llm.invoke("Explain quantum computing")
print(response)
```

## 9. GPU 가속
NVIDIA GPU가 있으면 자동으로 GPU 사용
```bash
# GPU 메모리 확인
nvidia-smi

# 환경 변수로 GPU 지정
CUDA_VISIBLE_DEVICES=0 ollama run llama3
```

## 10. 실전 활용

### 코드 리뷰 봇
```python
import ollama

code = open("main.py").read()
response = ollama.chat(model="codellama", messages=[
{"role": "user", "content": f"Review this code:
{code}"}
])
print(response["message"]["content"])
```

### 문서 요약
```python
doc = open("document.txt").read()
response = ollama.chat(model="llama3", messages=[
{"role": "system", "content": "Summarize in Korean, 3 bullet points"},
{"role": "user", "content": doc}
])
```