자연어처리 3

다양한 LLM 모델 종류와 사용 방법 (OpenAI, Anthropic, Perplexity)

LLM 모델은 사용 방법과 상황에 따라 다양한 모델을 선택할 수 있습니다. 다음은 다양한 LLM 모델의 종류와 사용방법에 대해서 알아 보겠습니다. 1. Open AI openAI에서 채팅 전용 Large Language Model(LLM)을 제공한다. 이 모델을 생성할 때 다양한 옵션 지정가능합니다. Option 1. model 또는 model_name : 적용 가능한 모델 선정하는 옵션 2. temperature : 샘플링 온도 설정 옵션. 값은 0~2 사이에서 선택 가능이고 낮은값은 출력 결과에 집중되고 높은 출력은 더 무작위하게 만듬 3. max_tokens : 생성할 토큰의 최대 개수 지정. 이 옵션은 모델이 한번에 생성할 수 있는 텍스트 길이 제어. OpenAI 모델 비교 fr..

LangSmith로 프로젝트 추적 설정

LangSmith는 LangChain 팀에서 만든 디버깅 및 추적 툴이다.👉 LangSmith = LangChain + Debugging 플랫폼 ✅ 주요 기능LangChain에서 실행되는 Chain, LLM, Agent 등의 입출력 추적Chain 실행의 성능 로그 확인실험 및 테스트 케이스 관리Prompt tuning/테스트 시 유용체인 내부의 세부 흐름을 시각화하여 문제를 쉽게 파악 1 ) 프로젝트 추적 프로젝트 단위로 실행 카운트, Error 발생률, 토큰 사용량, 과금 정보등을 확인할 수 있다. input과 output에 대한 결과 추적 가능 및 사용 토큰과 비용까지 측정되어 확인할 수 있습니다. 2) LangSmith API Key 발급1. Setting을 클릭한다. 2 . Crea..

RAG(Retrieval-Augmented Generated) 기술이 주목 받는 이유

최근 인공지능 기술이 다양하게 발전하고 산업에서의 디지털 전환을 이끌고 있습니다. 그 중에서도 텍스트를 바탕으로 진행되는 생성형 AI가 주목을 받고 있습니다. Open AI의 GPT를 중심으로 업무의 디지털 전환이 빠르게 이루어져 많은 사람들에게 도움을 주고 있습니다. 하지만 이런 GPT기반의 생성형AI와 LLM이 지속적으로 노출되고 있는 문제로서 환각(Hallucination) : 존재하지 않은 정보를 마치 사실인 것처럼 그럴듯하게 만들어냄 , 지식의 한계 / 최신 정보 반영 불가 : 특정기간 훈련된 데이터 까지만 알고 있고 이후 정보는 모르거나 부정확함 , 출처없는 답변, 도메인 적합성 부족등과 같은 다양한 문제를 노출하고 있습니다. ✅ RAG의 등장 배경과 필요성 **Retrieval-Augm..