오픈소스 AI의 힘: LLaMA3.1 로컬 설치 및 사용법

메타는 Llama 3.1을 2024년 7월 23일에 발표하였습니다. Meta에서 개발한 이 모델은 8B, 70B, 405B의 다양한 크기로 제공되며, 다국어 대화 사용 사례에 최적화되어 있습니다. 메타는 Llama 3.1이 이전 버전인 Llama 3에 비해 성능이 크게 향상되었다고 주장하며, 특히 텍스트 생성, 다국어 번역, 코드 생성 등에서 뛰어난 성과를 보인다고 발표했습니다​ (Hugging Face)​​ (Amazon Web Services, Inc.)​.

Llama 3.1 모델은 텍스트 기반의 입력과 출력을 지원하며, 상용 및 연구 목적으로 사용될 수 있습니다. 이 모델은 슈퍼바이즈드 파인튜닝(SFT)과 인간 피드백을 활용한 강화 학습(RLHF)을 통해 인간의 선호도에 맞춰 조정되었습니다. 이는 여러 언어에서의 대화 능력과 텍스트 생성 능력을 크게 향상시킵니다​ (Hugging Face)​​ (Amazon Web Services, Inc.)​.

 

 

I. llama 3.1 설치 방법

1. llama 3.1 웹페이지에 접속합니다. URL은 "ollama.com/library/llama3.1"입니다. 그리고 우측 상단의 "download" 버튼을 클릭하여 설치파일을 다운로드 합니다. 

 

2. 본인의 컴퓨터 운영체제를 고려하여 다운로드 파일 선택합니다. 저의 경우 윈도우즈가 자동으로 선택되었습니다. 

 

 

3. 다운로드 후 설치 파일 실행

4. ollama 3.1 설치

C:\> ollama run llama3.1 이라고 입력하면 설치가 진행됩니다. 

 

 

II. llama 3.1 실행 방법

 

1. 설치가 완료되면 cmd화면에서 아래와 같이(위의 설치시 입력했던 프롬프트와 동일)입력하면 llama3.1이 실행됩니다. 

 

 

2. 또는, 아래와 같이 입력하면 " ollama run llama3.1" 다음에 ""로 묶은 문장에 대한 답변을 출력하고 cmd 상태로 복귀합니다. 

 

 

글을 마치며...

 

Llama 3.1의 진정한 강점은 사용자가 로컬 환경에서 직접 실행하고 트레이닝할 수 있어 기업의 자료가 외부로 유출될 가능성이 전혀 없다는 점입니다. 이 모델은 높은 성능을 유지하면서도 개인 노트북과 같은 제한된 컴퓨팅 자원에서 실행할 수 있어 접근성과 유연성을 크게 향상시켰습니다. 이는 특히 기업의 내부 감사 업무와 같은 특수한 도메인에 맞추어 모델을 맞춤형으로 조정할 수 있는 큰 장점을 제공합니다. 사용자는 자체 데이터를 활용하여 Llama 3.1을 학습시키고, 필요에 따라 미세 조정을 통해 특정 업무 요구사항에 최적화된 AI 어시스턴트를 만들 수 있습니다. 이러한 특성은 데이터 보안 측면에서도 이점을 제공하며, 외부 서버로 데이터를 전송하지 않고 로컬에서 모든 작업을 처리할 수 있게 합니다. 따라서 Llama 3.1은 기업의 효율성을 높이고, 데이터 프라이버시를 유지하면서도 강력한 언어 모델을 활용할 수 있는 이상적인 솔루션입니다. 하지만 사용자가 어느정도 프로그래밍에 대한 지식을 보유해야 하므로 사용에 편하지 많은 않은 생성형 ai입니다.