본문 바로가기

분류 전체보기22

[LiteLLM] OpenAI format 커스텀 LLM Agent 만들기 안녕하세요? 오늘은 LiteLLM을 사용해서 OpenAI format의 커스텀 LLM Agent를 만들어 보겠습니다. LiteLLM? LiteLLM은 이미 존재하는 100+ 이상의 LLM들에 대한 Client 패키지와 Proxy를 지원해주는 패키지 입니다. LiteLLM을 사용하게 되면 쉽게 다양한 LLM들을 사용할 수 있습니다. 저는 UI에서 다양한 LLM 이외에도, 자체적으로 개발한 Custom LLM을 연결하는 Proxy 기능으로 활용을 하게 됐습니다. https://litellm.vercel.app/ LiteLLM - Getting Started | liteLLM https://github.com/BerriAI/litellm litellm.vercel.app Custom OpenAI Proxy L.. 2024. 4. 17.
[EKS] Gatekeeper 안녕하세요? K8S에서 Cluster를 관리 혹은 사용하다 보면, 코드 변경 없이 third party 소프트웨어의 K8S 리소스 값을 변경해야 하거나 일괄로 설정을 적용해야 할 때가 있습니다. Gatekeeper 를 사용하면 이와 같은 상황을 쉽게 해결 할 수 있습니다. Gatekeeper? Gatekeeper는 K8S는 OPA(OpenPolicyAgent)에서 만든 프로젝트로서 K8S의 자원에 대해서 Policy 설정을 할 수가 있습니다. Helm 설치 설치 방법은 변경될 수 있기 때문에, 공식 Github을 참조하시는 것이 좋습니다. https://github.com/open-policy-agent/gatekeeper/blob/master/charts/gatekeeper/README.md gat.. 2024. 4. 15.
[24. 2 일본 후쿠오카] 1일차 안녕하세요? ​ 후쿠오카 여행 1일차에 대해서 리뷰를 할려고 하는데요. 지난, 여행 계획에서 1일차는 아래 처럼 계획을 세웠습니다. ​ - 1일 출발: 10시 10분 도착: 11시 30분 도착 후 식사 2시: 차 렌트 2시 30분: 먹을거리 쇼핑 -> 라라포트로 이동 및 점심 식사 4시: 플로랄 빌리지 도착 -> 5시 30분 쯤 도착하여 못 봄, 대신 킨린 호수 관광 7시: 숙소 도착 (유후인) 하지만.. 지금 보면 계획데로 된 부분이 거의 없습니다.... 일단, 도착 후 점심을 공항에서 해결을 하려고 했습니다. 지난 후쿠오카 여행에서는 렌트카를 닛폰렌트카에서 예약을 해서, 국제선에서 국내선으로 이동을 해야 하는 걸로 생각을 했습니다만.. 도요타렌트카는 국제선에서 바로 렌트카업체로 이동을 하는 것이기 때.. 2024. 3. 11.
[인천공항 1터미널 신세계 면세점, 라라포트] 하큐슈 DR 안녕하세요? 24. 2월 후쿠오카 여행을 갈 시 저희는 인천공항 1터미널로 출국을 했는데요. 출국 당시, 아무 기대 없이 신세계 면세점을 갔다가, 하쿠슈 DR이 진영잘 제일 아래 구석에 있는 것을 우연히 보고, 구매를 했습니다. 사실, 일본을 가기 때문에 현지에서 쉽게 구매를 할 수도 있지만, 유아 동반이기 때문에 리쿼샵을 돌아닐 수 없고.. 볼 수 없을 수도 있기 때문에, 구매를 하게 되었습니다. 한 병 129,576원에 구매했습니다. 국내 시세로 보면, 싸게 잘 샀지만.. 일본 현지에서 구매를 한다면 조금 더 싸게 구할 수 있는 애매한 가격이었습니다만.. 앞서 얘기한 것처럼 어떻게 될지 모르기 때문에 구매를 하고, 현지에서 마실려고 구매를 했습니다. 제가 면세점에 진열된 사진은 미처 찍지를 못해서.... 2024. 3. 11.

티스토리툴바