가볍게 배우고 깊게 즐기고 오래 남기기

APIRemovedInV1: You tried to access openai.ChatCompletion, but this is no longer supported in openai>=1.0.0 - see the README at https://github.com/openai/openai-python for the API. You can run `openai migrate` to automatically upgrade your codebase to use the 1.0.0 interface. Alternatively, you can pin your installation to the old version, e.g. `pip install openai==0.28` A detailed migration gui..

GPT-4 Turbo가 출시되었다. OpenAI에서 GPT-4-Turbo모델 런칭하면서 동시에 API 요금을 인하 발표했다. https://openai.com/blog/new-models-and-developer-products-announced-at-devday New models and developer products announced at DevDay GPT-4 Turbo with 128K context and lower prices, the new Assistants API, GPT-4 Turbo with Vision, DALL·E 3 API, and more. openai.com Microsoft에서도 아래와 같은 따끈한 소식을 지난 16일에 전해왔는데, 얼마 되지 않아 개발 서버에서 바로 적..

MemGPT Memory-GPT(또는 줄여서 MemGPT)는 LLM의 제한된 컨텍스트 잇풋을 확장해서 사용할 수 있는 구조다 다시 말해 내용을 장기기억처럼 작동할 수 있게 LLM의 다양한 메모리 계층을 지능적으로 관리하는 프레임워크 MemGPT는 중요한 정보를 벡터 데이터베이스에 푸시할 시기와 나중에 채팅에서 이를 검색할 시기를 파악하여 지속적인 대화를 가능하게 합니다. 관련 논문은 아래를 참조 https://arxiv.org/abs/2310.08560 MemGPT: Towards LLMs as Operating Systems Large language models (LLMs) have revolutionized AI, but are constrained by limited context windows,..

Azure에서 OpenAI모델을 활용할 경우 엔드포인트의 차이로 불가피하게 계속 파라미터와 문법 체크를 해줘야 한다. Python 버전 C#버전 모두 다르지만 이 페이지에는 Python을 위주로 정리되어 있음 MS-oriented Lang이다 보니 C#은 비교적 더 문서가 구체화되어 있는 점 참고 https://learn.microsoft.com/ko-kr/azure/ai-services/openai/how-to/switching-endpoints Python을 사용하여 OpenAI와 Azure OpenAI Service 엔드포인트 간에 전환하는 방법 - Azure OpenAI Service OpenAI와 Azure OpenAI 엔드포인트 간에 교환하기 위해 코드에 적용해야 하는 변경 내용에 대해 알아봅..

Azure에서는 최근까지 업데이트 되었던 아래 5개 모델 외 text-davinci를 비롯한 Legacy Model에 대해서 서비스를 하지 않는다고 공지했다. 서비스는 gpt-4 기반이라 크게 이슈는 없지만 개인적으로는 gpt-4보다는 text-davinci의 대화력을 좋아해서 모델 Response 비교/ 프롬프트 보완에 종종 활용했는데 이렇게 서비스 오프된다니 조금 아쉽다. Legacy Model은 내년 7월 초에 전체 지원이 종료되니, 아래 내용을 참고해서 해당하는 모델들은 내년 상반기(2024.1H)까지 마이그레이션을 해야 한다. 1) GPT-3.5 Turbo Instruct 모델로 마이그레이션 필요 text-davinci-002 text-davinci-003 code-davinci-002 text..

Cookbook examples/vector_databases/kusto/Getting_started_with_kusto_and_openai_embeddings.ipynb

보안성 검토. 지금 사내 시스템에 GPT를 적용할 때에 많은 실무자들이 겪고 있거나 겪을 예정인 문제 AI 윤리강령이 각 회사 사규에 들어가기 시작하면서 이 부분은 더더욱 커지고 있다. GenAI 덕분에 여러가지로 인해 개발은 빨라졌으나 PoC를 일찍이 마치고도 오픈을 못해 발동동 구르고 있을 조직과 실무자들이 참으로 많을 것으로 예상된다. 대기업에 비해 방화벽 이슈가 상대적으로 약한 스타트업이나 개인 활용용으로 슬랙과 단순 GPT봇을 연결할 경우, 기존 단순히 연동하는 데에는 아무 문제가 없다. 그러나 Slack Bot을 통해 사내 비서 서비스하는 GPT봇을 구현하고 있는 나의 경우는, 지정 네트워크나 사내 메신저 환경이아니라 약간의 한계가 있다. 지금 회사는 이전에 몸담았던 대기업들보다도 정보보안정책..

def prettier_ans(response): lines = response.split(". ") lines = [line.strip() + '.' for line in lines] # 문장 단위로 List화 enter_line = "\n".join(lines) #줄바꿈 추가 #print(enter_line) #내부검토용 Print return enter_line #API를 위해서는 return 필요 OpenAI API 특성상 실제 데이터를 "\n"까지 넣어서 학습시키면 깔끔은 하겠지만 불필요한 학습량이 많아진다. 학습데이터나 챗봇의 캐릭터를 어떻게 생성하느냐에 따라 다르겠지만 질문이 아니라 답변만 가능한 챗봇이라면 FAQ 특성상 물음표나 느낌표를 뱉지 않고 온점으로 끝나고 다음문장은 띄어쓰기로 표현..

Our World in Data에서 세상이 주목하고 있는 AI 모델들의 모델별 학습비용을 리서치했다. 1950년대 모델부터 2023년 5월 출시된 GPT4까지 각 AI Dynamic한 데이터 변동은 아래에서 확인할 수 있다. https://ourworldindata.org/grapher/artificial-intelligence-training-computation Computation used to train notable artificial intelligence systems Computation is measured in total petaFLOP, which is 10¹⁵ floating-point operations. ourworldindata.org 금액면에서 압도적인 GPT4. 하지만 업데..

모든 신기술 서비스의 덫 (이지만 너무나도 중요한) 현재 개발중인 사내 FAQ봇이 단순 FAQ를 넘어 3rd Party와의 연동하도록 설계되어 있기 때문인데, 만보안력의 법칙에 따라 보안성 검토에 나의 피땀이 담긴 사내 GPT봇은 현재 1달 가까이 오픈 계류 중에 있다. (Stage : 보안성 검토 - 검토요건 기준으로 인프라 보완작업 - 미완료 연동 건 작업 - 품질 동일한지 다시 테스트....) 다행히 Prompt 비중이 높았던 이번 봇에서는 현업 테스트에서 모르는 것은 미응답까지 슬랙 채널당 94.4% 정답률을 보이는 성공적인 결과가 나왔다. 테스터 분들은 자체적으로 가이드 추가 요청이나 응답 외의 다양한 형태의 사용경험에 대한 의견을 주시는 등 아주 높은 호응이 있었다. 그래서 난 이 대기기간동안..

마이크로소프트 365 코파일럿 (Microsoft 365 Copilot) 솔루션 1) GPT 및 LLM 결합방식 : 1) 플러그인 형태로 내장됨 2) 'Business Chat' 기능을 통해 사용자 데이터와 결합해 자체적으로 업데이트 하는 방향 2) 선별된 고객 20개사 대상으로 선제 테스트 진행 중 3) 코파일럿의 대규모 언어 모델은 고객 콘텐츠 또는 개별 프롬프트를 학습하지 않음 (기업의 데이터 보안 및 개인 정보 보호 규약 기반) 2023.05 기준 GPT 연계 MS 솔루션 구분 솔루션 AI 및 GPT 연계기능 Status MS Office MS워드 & 파워포인트 맞춤법, 문법, 작문 스타일에 대한 지능적인 피드백 다양한 언어 지원 및 자연스러운 번역 자연어 명령으로 디자인 제안 및 글 요약/창작 ..

보다 효율적인 GPT 연계 개발을 위해서 하이에나처럼 헤매던 중에 Microsoft와 AIFactory에서 주최하는 챗GPT MS애저톤을 참가할 기회가 생겼다. 마음 같아서는 슬랙이나 기타 3rd Party 솔루션과 연동해서 GPT 서비스로 진행해보고 싶었는데 아쉽게도 내가 공지를 본 시점이 마감이 며칠 얼마 남지 않은 시점이라 프론트를 건들다가 프롬프트 엔지니어링으로 빠르게 선회했다. 출품하고 나니 규모가 큰 공모전은 아니었지만 배우는 것들도 많았고, 정말 빛나는 아이디어들이 많아서 새삼 아이디어가 승부인 GPT시대라는 것이 새삼스럽게 와닿았다. 마감 직전에 출품해서 약간 비문도 있었지만 감사하게도 업무효율화 분야에서 좋은 평가를 주셔서 수상 기념으로 공모전 내용을 공개하려고 한다. 이 프롬프트가 어떤..