NotebookLM은 내가 넣은 자료를 바탕으로 요약, 질문 답변, 퀴즈, 복습 자료를 만들 수 있어서 공부나 문서 정리에 편리합니다. 하지만 기본적으로 클라우드 기반 도구이기 때문에, 개인 문서나 민감한 자료를 올릴 때는 항상 조심해야 합니다.
이번 글에서는 NotebookLM처럼 문서와 대화하는 흐름을 내 컴퓨터에서 직접 테스트해보겠습니다. 핵심 도구는 Ollama와 AnythingLLM입니다. Ollama는 내 PC에서 로컬 AI 모델을 실행하는 도구이고, AnythingLLM은 문서를 넣고 질문할 수 있는 화면을 제공하는 도구라고 생각하면 됩니다.
다만 제목의 “인터넷 없이”라는 표현은 정확히 이해해야 합니다. 프로그램 설치, 모델 다운로드, 도구 다운로드에는 인터넷이 필요합니다. 이 글에서 말하는 “인터넷 없이”는 설치와 모델 다운로드를 끝낸 뒤, 내 컴퓨터 안에 있는 모델과 문서로 질문 답변을 테스트하는 상황을 뜻합니다.
Ollama와 AnythingLLM을 사용하면 내 PC에서 PDF나 txt 문서를 넣고 요약·질문·퀴즈 생성을 테스트할 수 있습니다. 하지만 로컬 AI라고 해서 개인정보, 보안, 정확성 문제가 자동으로 모두 해결되는 것은 아닙니다.
목차
- 왜 로컬 NotebookLM을 만들어볼까?
- NotebookLM과 로컬 문서 AI의 차이
- 설치 전 알아둘 점: 완전한 오프라인과 로컬 실행은 다르다
- 준비물: PC, RAM, 저장공간, 인터넷, 테스트용 파일
- Ollama 설치
- 작은 로컬 모델 다운로드
- AnythingLLM 설치
- Ollama와 AnythingLLM 연결
- Workspace 만들기
- PDF 또는 txt 파일 업로드
- 문서에 질문해보기
- 퀴즈와 체크리스트 만들어보기
- 인터넷 끄고 테스트하기
- NotebookLM과 비교하기
- 장점과 한계 정리
- 개인정보와 보안 주의사항
- 자주 생기는 오류와 확인할 점
- 마무리
1. 왜 로컬 NotebookLM을 만들어볼까?
클라우드 AI 도구는 사용하기 쉽습니다. 웹사이트에 접속해서 파일을 올리고 질문하면 바로 답을 받을 수 있습니다. NotebookLM도 그런 편리함 때문에 공부 자료, 수업 자료, PDF 정리에 많이 활용됩니다.
하지만 모든 문서를 클라우드 AI에 올리기 부담스러운 경우가 있습니다. 예를 들어 개인 메모, 회사 자료, 계약서, 학교 내부 자료, 고객 정보가 섞인 문서라면 업로드 전에 신중하게 생각해야 합니다.
이럴 때 로컬 AI를 한 번 경험해보면 도움이 됩니다. 로컬 AI는 AI 모델을 내 컴퓨터에 내려받아 실행하는 방식입니다. 문서도 내 PC 안에서 처리하도록 설정할 수 있기 때문에, “내 컴퓨터에서 문서와 대화하는 방식”을 직접 체험할 수 있습니다.
이 글의 목표는 어려운 AI 이론을 배우는 것이 아닙니다. Ollama와 AnythingLLM을 설치하고, 짧은 테스트 문서를 넣은 뒤, 요약·핵심 용어·퀴즈를 만들어보는 것입니다.
2. NotebookLM과 로컬 문서 AI의 차이
NotebookLM과 이 글에서 만드는 로컬 문서 AI는 겉으로는 비슷해 보일 수 있습니다. 둘 다 문서를 넣고 질문할 수 있기 때문입니다. 하지만 실행 위치와 편의성, 성능, 개인정보 관리 방식은 다릅니다.
| 구분 | NotebookLM | Ollama + AnythingLLM 로컬 구성 |
|---|---|---|
| 실행 위치 | Google 서비스에서 실행 | 내 PC에서 실행 |
| 설치 난이도 | 낮음 | 처음에는 조금 번거로움 |
| 성능 | 클라우드 모델 성능에 의존 | 내 PC 사양과 모델 크기에 의존 |
| 인터넷 | 기본적으로 필요 | 설치 후 로컬 모델은 인터넷 없이 테스트 가능 |
| 주의점 | 클라우드 업로드 전 자료 민감도 확인 필요 | 설치 앱, 모델, 저장 위치, 외부 연결 설정 확인 필요 |
로컬 문서 AI는 “NotebookLM을 완전히 대체한다”기보다, 문서 기반 AI가 어떤 식으로 작동하는지 내 컴퓨터에서 실험해보는 입문 과정에 가깝습니다.
3. 설치 전 알아둘 점: 완전한 오프라인과 로컬 실행은 다르다
이 글에서 가장 중요한 부분입니다. 로컬 AI를 사용한다고 해서 처음부터 끝까지 인터넷이 전혀 필요 없는 것은 아닙니다.
Ollama 설치 파일, AnythingLLM 설치 파일, 로컬 AI 모델, 임베딩 모델을 다운로드할 때는 인터넷이 필요합니다. 인터넷 없이 테스트할 수 있는 것은 필요한 파일을 모두 내려받은 뒤의 로컬 실행 부분입니다.
또한 AnythingLLM에서 외부 AI 제공자, 클라우드 임베딩 제공자, 웹 검색 기능, 온라인 문서 가져오기 기능 등을 켜면 인터넷이 다시 필요할 수 있습니다. 이 글에서는 초보자 기준으로 내 PC 안에서 실행되는 Ollama 모델을 중심으로 진행합니다.
처음 실습할 때는 기능을 많이 켜기보다 아래 원칙을 지키는 것이 좋습니다.
- Ollama는 내 PC에서 실행합니다.
- AnythingLLM은 Desktop 앱으로 사용합니다.
- LLM Provider는 Ollama로 설정합니다.
- Embedder도 가능하면 Ollama의 로컬 임베딩 모델로 설정합니다.
- 개인 문서가 아니라 연습용 txt 파일로 시작합니다.
- 초보자는 외부 접속, 포트 개방, 원격 접속 설정을 하지 않습니다.
4. 준비물: PC, RAM, 저장공간, 인터넷, 테스트용 파일
로컬 AI는 내 컴퓨터에서 모델을 실행하므로 PC 사양이 중요합니다. 클라우드 AI처럼 서버가 대신 계산해주는 방식이 아니기 때문입니다.
준비물 체크리스트
- Windows, macOS, Linux 중 하나가 설치된 PC
- 인터넷 연결: 설치 파일과 모델 다운로드용
- 저장공간: 모델 파일과 문서 저장용으로 최소 몇 GB 이상 여유
- RAM: 작은 모델 테스트는 8GB에서도 가능할 수 있지만, 16GB 이상이면 더 여유 있음
- 테스트용 txt 또는 PDF 파일
모델 크기가 커질수록 답변 품질이 좋아질 수 있지만, 그만큼 느려지고 저장공간도 더 많이 사용합니다. 처음에는 작은 모델로 “작동 흐름”을 확인하는 것이 좋습니다.
한국어 질문 테스트까지 고려해 qwen3:4b-instruct 모델을 예시로 사용합니다. 너무 느리면 더 작은 모델을 사용하고, PC 사양이 좋다면 더 큰 모델을 시도할 수 있습니다.
5. Ollama 설치
먼저 Ollama를 설치합니다. Ollama는 로컬 AI 모델을 내려받고 실행하는 도구입니다. 공식 다운로드 페이지에서 본인 운영체제에 맞는 설치 방법을 확인하세요.
- Windows: 공식 페이지에서 설치 파일을 받거나 PowerShell 명령을 사용할 수 있습니다.
- macOS: 공식 페이지에서 앱을 받거나 터미널 명령을 사용할 수 있습니다.
- Linux: 공식 페이지에서 설치 스크립트와 수동 설치 안내를 확인할 수 있습니다.
초보자라면 검색 결과의 광고성 다운로드 페이지보다 Ollama 공식 사이트에서 받는 것이 안전합니다.
Ollama 공식 다운로드: https://ollama.com/download
설치가 끝났다면 터미널 또는 명령 프롬프트에서 아래 명령으로 Ollama가 실행되는지 확인해볼 수 있습니다.
ollama --version
버전 정보가 나오면 설치가 된 것입니다. 명령어를 찾을 수 없다고 나오면 설치가 끝난 뒤 터미널을 다시 열어보거나, PC를 재시작한 뒤 다시 확인해보세요.
6. 작은 로컬 모델 다운로드
이제 로컬에서 사용할 AI 모델을 내려받습니다. 이 단계에서는 인터넷이 필요합니다. 모델 다운로드가 끝난 뒤에는 해당 모델을 내 PC에서 실행할 수 있습니다.
이 글에서는 처음 테스트용으로 아래 두 모델을 사용합니다.
- qwen3:4b-instruct: 질문 답변과 요약에 사용할 로컬 LLM
- nomic-embed-text: 문서를 검색하기 쉽게 바꾸는 임베딩 모델
터미널 또는 명령 프롬프트에서 아래 명령을 실행합니다.
ollama pull qwen3:4b-instruct ollama pull nomic-embed-text
다운로드가 끝나면 모델이 정상적으로 답하는지 먼저 확인해보겠습니다.
ollama run qwen3:4b-instruct
실행 후 아래처럼 짧게 질문해보세요.
한국어로 한 문장만 답해줘. 로컬 AI가 무엇인지 쉽게 설명해줘.
답변이 나오면 기본 모델 실행은 성공입니다. 종료하려면 터미널에서 /bye를 입력하거나 창을 닫으면 됩니다.
작은 모델은 빠르고 가볍지만 답변이 단순하거나 틀릴 수 있습니다. 큰 모델은 더 자연스러울 수 있지만 RAM, CPU/GPU, 저장공간을 더 많이 사용합니다. 처음에는 작은 모델로 작동을 확인하고, 필요할 때 모델을 바꾸는 방식이 좋습니다.
7. AnythingLLM 설치
Ollama가 AI 모델 실행을 맡는다면, AnythingLLM은 문서를 넣고 질문하는 화면을 제공합니다. 이번 실습에서는 AnythingLLM Desktop 앱을 사용합니다.
AnythingLLM Desktop 공식 다운로드: https://anythingllm.com/desktop
운영체제에 맞는 설치 파일을 받은 뒤 설치합니다. 설치 화면과 버튼 이름은 업데이트에 따라 달라질 수 있으므로, 설치 중 표시되는 안내를 확인하면서 진행하세요.
AnythingLLM은 자체적으로 여러 AI 제공자를 연결할 수 있습니다. 하지만 이 글에서는 로컬 테스트가 목적이므로 Ollama를 연결하는 흐름으로 진행합니다.
AnythingLLM이 자체 로컬 모델을 다운로드하려고 할 때는 해당 흐름을 건너뛰고, 설정에서 LLM Provider를 Ollama로 선택하세요. Base URL은 http://127.0.0.1:11434를 입력하고, Chat Model에는 이미 Ollama에 내려받은 대화 모델을 선택하면 됩니다. 문서 검색까지 하려면 Embedder Provider도 Ollama로 바꾸고, 임베딩 모델에는 nomic-embed-text를 선택하세요.
8. Ollama와 AnythingLLM 연결
AnythingLLM을 처음 실행하면 AI 제공자를 선택하거나 설정하는 화면이 나올 수 있습니다. 화면 이름은 버전에 따라 달라질 수 있지만, 핵심은 아래와 같습니다.
- LLM Provider 또는 Chat Model Provider: Ollama
- Ollama Base URL: http://127.0.0.1:11434
- Chat Model: qwen3:4b-instruct
- Embedder Provider: Ollama
- Embedding Model: nomic-embed-text
Ollama 기본 연결 주소: http://127.0.0.1:11434
여기서 중요한 점은 LLM 모델과 임베딩 모델이 다르다는 것입니다. qwen3:4b-instruct는 질문에 답하는 모델이고, nomic-embed-text는 문서를 검색하기 위한 임베딩 모델입니다.
임베딩 모델 선택 화면에서 일반 대화 모델을 고르면 문서 검색이 제대로 되지 않을 수 있습니다. 문서 기반 질문을 하려면 임베딩 모델에는 nomic-embed-text처럼 임베딩용 모델을 선택하세요.
9. Workspace 만들기
AnythingLLM에서는 문서를 넣고 대화할 공간을 보통 Workspace라고 부릅니다. 쉽게 말하면 “문서별 대화방”이라고 생각하면 됩니다.
예를 들어 Python 공부 자료를 넣는다면 Workspace 이름을 아래처럼 만들 수 있습니다.
Python 변수와 자료형 실습
Workspace를 나눠두면 문서가 섞이는 것을 줄일 수 있습니다. 공부 자료, 업무 자료, 개인 메모를 한 곳에 모두 넣기보다 목적별로 분리하는 것이 좋습니다.
처음에는 기능을 많이 켜지 말고, 새 Workspace를 만들고 테스트 문서 하나만 넣어보는 방식으로 시작하세요.
10. PDF 또는 txt 파일 업로드
이제 테스트용 문서를 준비하겠습니다. 처음부터 실제 개인 문서나 회사 문서를 넣지 말고, 아래 예시 자료를 메모장에 붙여넣어 txt 파일로 저장해보세요.
제목: Python 변수와 자료형
Python에서 변수는 값을 담아두는 이름표처럼 사용할 수 있습니다.
예를 들어 age = 20 이라고 쓰면 age라는 이름에 20이라는 값이 연결됩니다.
Python의 기본 자료형에는 정수형 int, 실수형 float, 문자열 str, 불리언 bool이 있습니다.
int는 1, 20, -3 같은 정수를 나타냅니다.
float는 3.14, 0.5 같은 소수 값을 나타냅니다.
str은 "hello", "Python" 같은 글자 데이터를 나타냅니다.
bool은 True 또는 False처럼 참과 거짓을 나타냅니다.
자료형은 type() 함수를 사용해서 확인할 수 있습니다.
예를 들어 type(age)를 실행하면 age에 들어 있는 값의 자료형을 확인할 수 있습니다.
여러 값을 순서대로 저장할 때는 리스트 list를 사용할 수 있습니다.
예를 들어 scores = [80, 90, 100]처럼 쓸 수 있습니다.
리스트의 첫 번째 값은 인덱스 0번으로 접근합니다.
관련 있는 값을 이름과 값의 쌍으로 저장할 때는 딕셔너리 dict를 사용할 수 있습니다.
예를 들어 student = {"name": "Min", "age": 20}처럼 쓸 수 있습니다.
Python은 변수에 들어가는 값에 따라 자료형이 정해집니다.
하지만 같은 변수에 너무 자주 다른 종류의 값을 넣으면 코드를 읽기 어려워질 수 있습니다.
input() 함수로 입력받은 값은 기본적으로 문자열 str입니다.
숫자 계산에 사용하려면 int() 또는 float()로 변환해야 합니다.
파일 이름은 아래처럼 저장하면 됩니다.
python-basic-note.txt
PDF로 테스트하고 싶다면 같은 내용을 문서 편집기에 붙여넣고 PDF로 저장해도 됩니다. 다만 스캔 이미지로 된 PDF는 텍스트 추출이 잘 안 될 수 있습니다. 처음에는 텍스트가 들어 있는 txt 파일이나 일반 PDF로 테스트하는 것이 좋습니다.
AnythingLLM에서 문서를 추가한 뒤에는 단순히 업로드만 끝내지 말고, 해당 문서를 Workspace에 넣거나 Embed 처리해야 합니다. 버전에 따라 버튼 이름은 “Move to Workspace”, “Add to Workspace”, “Embed”처럼 다르게 보일 수 있습니다.
문서를 업로드한 뒤, 현재 Workspace의 문서 목록에 파일이 보이는지 확인하세요. 문서가 Workspace에 들어가지 않으면 AI가 그 내용을 참고하지 못할 수 있습니다.
11. 문서에 질문해보기
문서를 넣었다면 이제 질문해볼 차례입니다. 처음에는 어려운 질문보다 문서 안에서 바로 확인할 수 있는 질문으로 시작하세요.
업로드된 문서를 초보자도 이해할 수 있게 5줄로 요약해줘.
다음으로 핵심 용어를 뽑아보겠습니다.
중요한 용어 10개를 뽑고 쉽게 설명해줘.
문서 기반 답변을 더 안전하게 만들려면 아래처럼 요청하는 것이 좋습니다.
문서에 없는 내용을 추측해서 말하지 말고, 문서에 근거한 내용만 정리해줘.
로컬 AI 모델도 문서에 없는 내용을 그럴듯하게 말할 수 있습니다. 따라서 답변이 나오면 반드시 원문과 비교하세요.
특히 아래 항목을 확인하면 좋습니다.
- 요약이 원문에 있는 내용만 다루는가?
- 중요한 내용이 빠지지는 않았는가?
- 원문에 없는 개념을 갑자기 추가하지는 않았는가?
- 용어 설명이 너무 넓게 확장되지는 않았는가?
- 출처 또는 문서 근거 표시가 있다면 실제 문장과 맞는가?
12. 퀴즈와 체크리스트 만들어보기
문서 요약이 잘 된다면 이번에는 학습용 퀴즈와 체크리스트를 만들어보겠습니다. 아래 프롬프트를 그대로 복사해서 사용해보세요.
이 문서를 바탕으로 객관식 퀴즈 5개를 만들어줘. 각 문제마다 정답과 해설을 함께 써줘. 문서에 없는 내용은 문제로 내지 마.
주의해야 할 내용을 표로 정리할 수도 있습니다.
문서에서 주의해야 할 내용을 표로 정리해줘. 열은 '주의할 내용', '이유', '예시'로 만들어줘.
복습 체크리스트도 만들어보겠습니다.
이 문서에서 내가 다시 확인해야 할 부분을 알려줘. 초보자가 헷갈릴 만한 내용과 복습 질문을 함께 정리해줘.
좋은 결과는 원문에 근거가 있어야 합니다. 예를 들어 위 예시 문서에는 tuple, set, class 같은 내용이 없습니다. AI가 이런 내용을 퀴즈로 낸다면 문서 범위를 벗어난 것입니다.
같은 문서로 요약, 용어 정리, 퀴즈, 체크리스트를 각각 만들어보세요. 그런 다음 AI 답변을 원문과 비교해 “문서 기반 답변”이 얼마나 잘 되는지 확인해보세요.
13. 인터넷 끄고 테스트하기
이제 제목의 “인터넷 없이” 부분을 확인해보겠습니다. 단, 이 단계는 Ollama, AnythingLLM, qwen3:4b-instruct, nomic-embed-text 다운로드가 모두 끝난 뒤에 해야 합니다.
- Ollama가 실행 중인지 확인합니다.
- AnythingLLM을 열어둡니다.
- 테스트 문서가 Workspace에 들어 있는지 확인합니다.
- Wi-Fi 또는 유선 인터넷을 잠시 끕니다.
- 같은 Workspace에서 문서 요약 질문을 다시 해봅니다.
아래 질문으로 테스트해보세요.
인터넷 연결 없이도 이 문서를 3줄로 요약할 수 있는지 테스트하고 있어. 문서 내용만 바탕으로 3줄 요약해줘.
정상적으로 설정되어 있다면 로컬 모델과 로컬 문서 기준으로 답변이 나올 수 있습니다. 하지만 다음과 같은 경우에는 인터넷을 끄면 작동하지 않을 수 있습니다.
- LLM Provider가 Ollama가 아니라 OpenAI, Gemini, Anthropic 같은 클라우드 제공자로 되어 있는 경우
- Embedder가 로컬 모델이 아니라 클라우드 임베딩 제공자로 되어 있는 경우
- 웹 검색, 온라인 소스 가져오기, 외부 연결 기능을 사용 중인 경우
- 필요한 모델을 아직 다운로드하지 않은 경우
- AnythingLLM 또는 Ollama가 실행되어 있지 않은 경우
“인터넷 없이”는 설치와 다운로드까지 오프라인으로 한다는 뜻이 아닙니다. 설치와 모델 다운로드가 끝난 뒤, 외부 AI 제공자 없이 내 PC의 로컬 모델과 로컬 문서로 테스트한다는 뜻입니다.
14. NotebookLM과 비교하기
같은 예시 문서를 NotebookLM에도 넣어본 적이 있다면, 로컬 AI 결과와 비교해보세요. 비교할 때는 “어느 쪽이 무조건 좋다”보다 “어떤 상황에 더 맞는가”를 보는 것이 좋습니다.
| 비교 항목 | 확인할 점 |
|---|---|
| 요약 품질 | 핵심 내용이 빠지지 않았는지 확인 |
| 문서 근거 | 원문에 없는 내용을 추가하지 않았는지 확인 |
| 속도 | 로컬 모델은 PC 사양에 따라 느릴 수 있음 |
| 편의성 | NotebookLM은 시작이 쉽고, 로컬 구성은 설정이 필요함 |
| 민감 자료 테스트 | 어떤 도구든 민감 정보는 넣지 않는 것이 안전 |
NotebookLM은 사용하기 쉽고 자료 정리 기능이 잘 갖춰져 있습니다. 반면 로컬 구성은 느리고 불편할 수 있지만, 내 PC에서 문서 기반 AI 흐름을 직접 이해하기 좋습니다.
15. 장점과 한계 정리
장점
- 내 PC에서 로컬 AI 모델 실행을 경험할 수 있습니다.
- 문서 요약, 핵심 용어, 퀴즈 만들기 흐름을 실습할 수 있습니다.
- 설치 후에는 인터넷을 끄고 로컬 작동 여부를 테스트할 수 있습니다.
- 클라우드 AI와 로컬 AI의 차이를 직접 비교할 수 있습니다.
- RAG, 임베딩, Workspace 같은 개념을 어렵지 않게 체험할 수 있습니다.
한계
- PC 사양에 따라 답변이 매우 느릴 수 있습니다.
- 작은 모델은 클라우드 AI보다 답변 품질이 낮을 수 있습니다.
- PDF가 이미지 스캔본이면 내용 추출이 잘 안 될 수 있습니다.
- 모델과 임베딩 설정이 맞지 않으면 문서를 제대로 참조하지 못할 수 있습니다.
- 로컬 AI 답변도 틀리거나 원문 밖 내용을 말할 수 있습니다.
로컬 AI는 멋진 도구이지만 만능은 아닙니다. 특히 중요한 판단, 계약, 의료, 법률, 금융, 회사 보안과 관련된 내용은 AI 답변만 보고 결정하면 안 됩니다.
16. 개인정보와 보안 주의사항
로컬 AI를 사용한다고 해서 모든 보안 문제가 자동으로 해결되는 것은 아닙니다.
설치한 프로그램, 사용한 모델, 연결한 외부 기능, 저장 위치에 따라 데이터 처리 방식이 달라질 수 있습니다.
주민등록번호, 비밀번호, 카드번호, 회사 기밀, 의료 기록 같은 민감 정보는 테스트용으로도 넣지 않는 것이 안전합니다.
로컬 AI 답변도 틀릴 수 있으므로 중요한 내용은 원문과 공식 자료로 다시 확인해야 합니다.
아래 정보는 이 실습에 넣지 마세요.
- 주민등록번호, 여권번호, 운전면허번호
- 비밀번호, API key, 토큰, 인증 코드
- 카드번호, 계좌번호, 결제 정보
- 회사 기밀, 고객 정보, 내부 회의록, 계약서
- 의료 기록, 건강검진 결과, 상담 기록
- 학교 내부 자료, 시험지, 비공개 수업 자료
- 신분증, 가족 정보, 주소, 전화번호가 들어간 문서
로컬 AI를 사용할 때도 다음을 확인해야 합니다.
- 앱이 데이터를 어디에 저장하는지
- 채팅 기록과 문서 파일이 어떤 폴더에 남는지
- 로그 파일에 문서 내용이 남을 수 있는지
- 클라우드 AI 제공자나 외부 임베딩 제공자를 연결했는지
- 웹 검색, 플러그인, 에이전트 기능이 켜져 있는지
- 공용 PC나 회사 PC에서 사용해도 되는지
초보자는 로컬 AI 도구를 외부 인터넷에 공개하지 않는 것이 좋습니다. 포트 개방, 공개 서버 운영, 원격 접속, 리버스 프록시 설정은 보안 위험이 커질 수 있으므로 이 글에서는 다루지 않습니다.
17. 자주 생기는 오류와 확인할 점
1) ollama 명령어를 찾을 수 없다고 나오는 경우
설치가 끝난 뒤 터미널을 새로 열어보세요. 그래도 안 되면 PC를 재시작한 뒤 다시 확인합니다. 공식 설치 파일로 설치했는지도 확인하세요.
2) 모델 다운로드가 너무 오래 걸리는 경우
모델 파일은 몇 GB가 될 수 있습니다. 인터넷 속도와 서버 상태에 따라 시간이 걸릴 수 있습니다. 저장공간이 충분한지도 확인하세요.
3) AnythingLLM에서 Ollama 모델이 보이지 않는 경우
Ollama가 실행 중인지 확인하고, AnythingLLM의 Ollama 주소가 아래와 같은지 확인하세요.
http://127.0.0.1:11434
또한 모델을 먼저 내려받았는지도 확인해야 합니다.
ollama list
4) 문서를 넣었는데 문서 내용으로 답하지 않는 경우
문서를 단순히 업로드만 하고 Workspace에 넣지 않았을 수 있습니다. 문서가 현재 Workspace에 연결되어 있는지 확인하세요. 또한 Embedder 설정이 올바른지 확인합니다.
5) PDF 내용을 제대로 읽지 못하는 경우
스캔 이미지 PDF는 텍스트 추출이 어려울 수 있습니다. 처음에는 txt 파일이나 텍스트가 포함된 PDF로 테스트하세요.
6) 인터넷을 끄면 작동하지 않는 경우
LLM Provider 또는 Embedder가 클라우드 제공자로 되어 있을 수 있습니다. Ollama 모델이 다운로드되어 있는지, AnythingLLM 설정이 로컬 제공자로 되어 있는지 확인하세요.
7) 답변이 너무 느린 경우
작은 모델을 사용하거나, 문서 크기를 줄여보세요. 다른 프로그램을 많이 실행 중이라면 종료하고 다시 테스트하는 것도 도움이 됩니다.
8) 한국어 답변이 어색한 경우
프롬프트에 “한국어로”, “초보자도 이해할 수 있게”, “짧게” 같은 조건을 추가해보세요. 모델을 바꿔보는 것도 방법입니다.
한국어로 답해줘. 초보자도 이해할 수 있게 짧은 문장으로 설명해줘. 문서에 없는 내용은 추가하지 마.
18. 마무리
이번 글에서는 Ollama와 AnythingLLM을 사용해 내 컴퓨터에서 PDF나 txt 문서와 대화하는 로컬 문서 AI 흐름을 만들어봤습니다. 설치와 모델 다운로드에는 인터넷이 필요하지만, 필요한 모델과 문서를 준비한 뒤에는 로컬 환경에서 인터넷을 끄고 테스트해볼 수 있습니다.
이 실습의 핵심은 “완벽한 AI 시스템 만들기”가 아닙니다. 내 PC에서 AI 모델이 실행되고, 문서가 임베딩되고, Workspace 안에서 문서 기반 질문 답변이 이루어지는 흐름을 직접 이해하는 것입니다.
다만 로컬 AI도 답변이 틀릴 수 있고, 개인정보와 보안 문제가 자동으로 해결되는 것도 아닙니다. 처음에는 반드시 이 글의 예시처럼 공개 가능한 짧은 테스트 문서로 연습하세요. 중요한 자료는 원문과 공식 문서로 다시 확인하는 습관이 필요합니다.
함께 읽으면 좋은 글
- NotebookLM으로 공부 노트 만들기: 자료 넣고 요약·퀴즈·오디오 복습하기
- AI에게 질문 잘하는 법: Python 공부 계획으로 보는 프롬프트 실습
- AI에게 개인정보를 입력하면 안 되는 이유: ChatGPT·Gemini·Copilot 안전 사용법
- AI 답변을 그대로 믿으면 안 되는 이유: 사실 확인과 출처 확인 방법
공식 참고 링크
- Ollama 공식 다운로드
- Ollama Library - qwen3:4b-instruct
- Ollama Library - nomic-embed-text
- AnythingLLM Desktop 공식 다운로드
- AnythingLLM Docs - Ollama LLM 설정
- AnythingLLM Docs - Ollama Embedder 설정
- AnythingLLM Docs - 문서와 대화하기
- Google NotebookLM Help - NotebookLM 알아보기
