Rag 5

다양한 LLM 모델 종류와 사용 방법 (OpenAI, Anthropic, Perplexity)

LLM 모델은 사용 방법과 상황에 따라 다양한 모델을 선택할 수 있습니다. 다음은 다양한 LLM 모델의 종류와 사용방법에 대해서 알아 보겠습니다. 1. Open AI openAI에서 채팅 전용 Large Language Model(LLM)을 제공한다. 이 모델을 생성할 때 다양한 옵션 지정가능합니다. Option 1. model 또는 model_name : 적용 가능한 모델 선정하는 옵션 2. temperature : 샘플링 온도 설정 옵션. 값은 0~2 사이에서 선택 가능이고 낮은값은 출력 결과에 집중되고 높은 출력은 더 무작위하게 만듬 3. max_tokens : 생성할 토큰의 최대 개수 지정. 이 옵션은 모델이 한번에 생성할 수 있는 텍스트 길이 제어. OpenAI 모델 비교 fr..

출력 파서 [OutputParser] - JsonOutputParser

"JsonOutputParser"는 LLM의 출력 결과를 JSON의 형태로 파싱하고 반환하기 위한 파서이다. 주로 LangChain, OpenAI function calling 또는 기타 LLM 파이프라인에서 사용되며, 모델 출력이 JSON 포맷을 따르도록 유도하고, 안정적이고 프로그래밍에 친숙한 형태로 변환하는데 사용됩니다. JSON이란 ?JSON 데이터는 이름(키)과 값의 쌍으로 이루어져 있습니다. 여기서 "이름"은 문자열이고, "값"은 다양한 데이터 유형일 수 있습니다. JSON은 두 가지 기본 구조를 가집니다: - 객체: 중괄호 {}로 둘러싸인 키-값 쌍의 집합입니다. 각 키는 콜론 :을 사용하여 해당하는 값과 연결되며, 여러 키-값 쌍은 쉼표 ,로 구분됩니다. - 배열: 대괄호 []로 둘러싸..

출력 파서 (OutputParser) - PydanticOutputParser

PydanticOutputParser란 ? 언어 모델의 출력을 구조화된 정보로 변환하는데 도움을 주는 클래스이다. 이 클래스는 단순 텍스트 응답 대신 "명확하고 체계적인 형태로 필요한 정보를 제공 할 수 있다. 이클래스를 활용하면 언어 모델의 출력을 특정 데이터 모델에 맞게 변환하여 정보를 더 쉽게 처리하고 활용할 수 있다. ▶ 주요 매서드 1. get_format_instructions() : LLM에게 제공할 출력 형식을 안내하는 문자열(JSON등 포함)을 반환한다. 언어 모델이 출력해야 할 정보의 형식을 정의하는 지침 제공, 언어 모델이 출력해야할 데이터의 필드와 그 형태를 설명하는 지침을 문자열로 반환 가능, 이 지침은 언어 모델이 출력을 구조화하고 특정 데이터 모델에 맞게 변환하는데 매우 ..

출력파서(OutputParser) 란?

LangChain의 출력파서(Output Parser)는 언어 모델(LLM)의 출력을 더 유용하고 구조화된 형태로 변환하는 중요한 컴포넌트이다. 출력파서의 역할- LLM의 출력을 받아 더 적합한 형식으로 변환- 구조화된 데이터 생성에 매우 유용- LangChain 프레임워크에서 다양한 종류의 출력데이터를 파싱하고 처리 주요특징 1. 다양성 : LangChain은 많은 종류의 출력 ㅅ파서를 제공한다. 2. 스트리밍 지원 : 많은 출력 파서들이 스트리밍을 지원한다. 3. 확장성 : 최소한의 모듈부터 복잡한 모듈까지 확장 가능한 인터페이스 제공 출력파서의 이점 1. 구조화 : LLM의 자유 형식 텍스트 출력을 구조화된 데이터로 변환2. 일관성 : 출력 형식을 일관되게 유지하여 후속 처리 용이3. 유연성 ..

[RAG] OpenAI API Key 발급 및 사용법 정리

최근 유행하고 있는 Chat GPT와 연계된 작업을 하기 위해서 Open AI에서 API Key를 발급받아 쉽게 사용이 가능하다.이글에서는 OpenAI API Key 발급 및 결제까지의 사용법에 대해서 설명해보고자 한다. OpenAI API 설치 및 API키 발급 OpenAI API Key를 발급받기 위해서는 우선 회원가입을 진행해야한다. 1. platform.openai.com에 들어가서 회원가입 진행한다.2. 로그인 후 왼쪽 Search를 클릭한후 billing overview를 검색하면 3. 아래와 같은 Billing 페이지로 넘어 옵니다. Billing 페이지에서 카드 정보를 등록하여 결제를 진행해야합니다. 처음 이용하시는 경우 아래와 같이 카드등록이 되어있지 않기 때문에 VISA 결제가 가능..