AnythingLLM: PDF와 문서를 찾아 답하는 나만의 지식베이스 만들기

PDF가 늘어날수록 필요한 한 문장을 찾는 시간이 길어집니다. AnythingLLM은 문서를 워크스페이스별로 묶고, 질문과 관련된 내용을 찾아 대화에 활용하도록 돕습니다. 프로젝트 안내서나 공개 매뉴얼처럼 범위가 뚜렷한 문서 묶음으로 시작하면 쓰임새를 판단하기 좋습니다.

문서를 “학습시킨다”는 말의 실제 의미

이 글에서 다루는 것은 검색 증강 생성, 즉 RAG입니다. 문서를 작은 조각으로 나누어 검색 가능한 형태로 저장하고, 질문과 가까운 부분을 모델에 제공합니다. 모델의 가중치를 다시 훈련하는 방식은 아닙니다. 따라서 모든 문서를 한 번에 완벽하게 기억하거나 모든 페이지를 읽었다고 가정하면 안 됩니다.

답변에 제시된 출처를 눌러 원문의 문맥과 숫자를 직접 대조하세요. 표가 복잡하거나 스캔 품질이 나쁜 문서는 추출 단계부터 내용이 빠질 수 있습니다. 출처 표시가 있다는 사실만으로 답변의 정확성이 보장되지는 않습니다.

비전공자를 위한 3단계 시작 가이드

01. 설치 방식과 모델을 정합니다

처음이라면 공식 사이트의 데스크톱 설치판도 좋은 시작점입니다. 아래는 Docker를 이미 쓰는 독자를 위한 Windows PowerShell 예시입니다. 문서 채팅에는 LLM과 임베딩 설정이 필요합니다. 모두 로컬로 처리하고 싶다면 각각 로컬 제공자를 선택해야 합니다.

02. 저장 폴더를 만들고 실행합니다

$env:STORAGE_LOCATION = "$HOME/Documents/anythingllm"
New-Item -ItemType Directory -Force -Path $env:STORAGE_LOCATION | Out-Null
if (!(Test-Path "$env:STORAGE_LOCATION/.env")) { New-Item -ItemType File -Path "$env:STORAGE_LOCATION/.env" | Out-Null }
docker run -d --name anythingllm -p 127.0.0.1:3001:3001 --cap-add SYS_ADMIN --add-host=host.docker.internal:host-gateway -v "${env:STORAGE_LOCATION}:/app/server/storage" -v "${env:STORAGE_LOCATION}/.env:/app/server/.env" -e STORAGE_DIR=/app/server/storage --restart unless-stopped mintplexlabs/anythingllm

공식 Docker 예시를 바탕으로 접속을 이 PC로 제한했습니다. 설정 파일과 문서를 호스트 폴더에 보관하므로 해당 폴더도 백업 대상입니다. SYS_ADMIN은 공식 예시에 포함된 추가 컨테이너 권한입니다. 필요 기능과 운영 환경을 검토하고, 설치 과정이 부담스럽다면 데스크톱 설치판을 선택하세요.

03. 공개 문서 한 개로 첫 질문을 만듭니다

localhost:3001을 열고 모델 제공자를 설정합니다. 새 워크스페이스를 만든 뒤 테스트 PDF를 추가하고 워크스페이스에 반영합니다. 문서에 명확한 답이 있는 질문과 문서에 없는 질문을 각각 던져보세요. 없는 정보를 그럴듯하게 답하는지까지 보는 것이 중요한 첫 테스트입니다.

연결 오류와 저장 상태를 확인합니다

docker start anythingllm
docker logs --tail 50 anythingllm

Docker 컨테이너에서 PC의 Ollama에 연결할 때는 일반적으로 host.docker.internal:11434를 사용합니다. Linux는 추가 호스트 매핑과 모델 서버의 수신 설정이 필요할 수 있습니다. 연결이 안 되면 모델이 켜져 있는지와 주소를 먼저 확인하세요.

사내 문서를 넣기 전 점검할 것

로컬 설치만으로 외부 전달이 모두 차단되지는 않습니다. LLM뿐 아니라 임베딩·OCR·웹 도구와 원격 벡터 저장소 설정도 확인해야 합니다. 사내 자료는 조직의 사용 기준을 먼저 확인하고, 처음에는 공개 매뉴얼이나 본인이 만든 문서로 검색 품질을 판단하세요.

라이선스와 비용을 확인하세요

리포지토리는 MIT 라이선스로 공개되어 있습니다. 연결하는 모델·외부 API와 별도 유료 상품의 요금·약관은 각각 확인해야 합니다.

2026.11.01 공식 자료 기준으로 작성했습니다. 설치 명령은 문서와 대조했으며 이 글을 위해 직접 실행 검증하지는 않았습니다. 설치와 다운로드 시간은 환경에 따라 달라집니다. 대표 이미지는 도구의 용도를 설명하기 위해 AI로 제작한 사진형 이미지이며, 실제 제품 화면이나 실행 결과가 아닙니다.