개발/ETC3 [LiteLLM] OpenAI format 커스텀 LLM Agent 만들기 안녕하세요? 오늘은 LiteLLM을 사용해서 OpenAI format의 커스텀 LLM Agent를 만들어 보겠습니다. LiteLLM? LiteLLM은 이미 존재하는 100+ 이상의 LLM들에 대한 Client 패키지와 Proxy를 지원해주는 패키지 입니다. LiteLLM을 사용하게 되면 쉽게 다양한 LLM들을 사용할 수 있습니다. 저는 UI에서 다양한 LLM 이외에도, 자체적으로 개발한 Custom LLM을 연결하는 Proxy 기능으로 활용을 하게 됐습니다. https://litellm.vercel.app/ LiteLLM - Getting Started | liteLLM https://github.com/BerriAI/litellm litellm.vercel.app Custom OpenAI Proxy L.. 2024. 4. 17. [Protobuf] symbol not found in flat namespace '_CFRelease' 안녕하세요? 저는 프로젝트에서 Protobuf 3.19를 사용하고 있었습니다. 그런데, 최신 Streamlit 부터는 Protobuf 의 디펜던시가 3.20>= 으로 되면서, 3.20 으로 업그레이드 테스트를 진행하던 중 아래와 같은 에러를 마주해서 해결한 방법에 대해서 작성합니다. 사실.. 3.19에서 Protobuf 최신 버전인 4.x 로 업그레이드를 하고 싶었지만, App trace 를 위해서 사용하는 Jaeger(https://www.jaegertracing.io/)에서 Protobuff 4.x를 지원하지 않아서 3.20으로 업그레이드를 했습니다. Protobuf Protobuf에 대한 자세한 설명은 생략합니다.. Protobuf / Jaeger / Opentelemetry Jaeger가 Prot.. 2024. 2. 5. Budibase - No Code Platform 안녕하세요? 작년 부터 알게된 Budibase를 올 해는 회사 업무에 적용해볼 생각으로 Budibase를 설치해보고 살펴볼려고 합니다. 우선, Budibase(https://budibase.com/)는 No Code Platform으로서 UI에서 클릭만으로 App. 을 만들 수 있는 기능을 제공하는 플랫폼입니다. 깃헙에서는 좋아요를 19.8k를 받을 정도로 주목받는 서비스입니다. https://github.com/Budibase/budibase GitHub - Budibase/budibase: Low code platform for creating internal tools, workflows, and admin panels in minutes. Supports Post Low code platform .. 2024. 1. 30. 이전 1 다음
