가볍게 배우고 깊게 즐기고 오래 남기기

Azure에서 OpenAI모델을 활용할 경우 엔드포인트의 차이로 불가피하게 계속 파라미터와 문법 체크를 해줘야 한다. Python 버전 C#버전 모두 다르지만 이 페이지에는 Python을 위주로 정리되어 있음 MS-oriented Lang이다 보니 C#은 비교적 더 문서가 구체화되어 있는 점 참고 https://learn.microsoft.com/ko-kr/azure/ai-services/openai/how-to/switching-endpoints Python을 사용하여 OpenAI와 Azure OpenAI Service 엔드포인트 간에 전환하는 방법 - Azure OpenAI Service OpenAI와 Azure OpenAI 엔드포인트 간에 교환하기 위해 코드에 적용해야 하는 변경 내용에 대해 알아봅..

Azure에서는 최근까지 업데이트 되었던 아래 5개 모델 외 text-davinci를 비롯한 Legacy Model에 대해서 서비스를 하지 않는다고 공지했다. 서비스는 gpt-4 기반이라 크게 이슈는 없지만 개인적으로는 gpt-4보다는 text-davinci의 대화력을 좋아해서 모델 Response 비교/ 프롬프트 보완에 종종 활용했는데 이렇게 서비스 오프된다니 조금 아쉽다. Legacy Model은 내년 7월 초에 전체 지원이 종료되니, 아래 내용을 참고해서 해당하는 모델들은 내년 상반기(2024.1H)까지 마이그레이션을 해야 한다. 1) GPT-3.5 Turbo Instruct 모델로 마이그레이션 필요 text-davinci-002 text-davinci-003 code-davinci-002 text..

Cookbook examples/vector_databases/kusto/Getting_started_with_kusto_and_openai_embeddings.ipynb

Our World in Data에서 세상이 주목하고 있는 AI 모델들의 모델별 학습비용을 리서치했다. 1950년대 모델부터 2023년 5월 출시된 GPT4까지 각 AI Dynamic한 데이터 변동은 아래에서 확인할 수 있다. https://ourworldindata.org/grapher/artificial-intelligence-training-computation Computation used to train notable artificial intelligence systems Computation is measured in total petaFLOP, which is 10¹⁵ floating-point operations. ourworldindata.org 금액면에서 압도적인 GPT4. 하지만 업데..

와 하루가 다르게 책에, 플러그인에, 유튜브에 , 요즘 물들어올 때 노 저어야 한다지만 요즘 GPT 컨텐츠는 노 젓기도 전에 홍수가 먼저 배를 덮치는 수준이다. 나도 2월 경 부터 사내에서 GPT 프롬프트 개발업무를 병행하고 있다. 튜닝의 끝은 순정이라고 하지만 세상 그 어느 회사도 IT 솔루션을 순정으로 쓰지 않는다. 본디 자유롭게 떠들어야 하는 이 GPT녀석을, 나는 커스텀, 즉 적당히 내가 원하는 범위의 답변을 정확히 생성하도록 단단히 마스크와 족쇄를 채우는 작업을 하고 있다. 우리팀은 이걸 훈육이라고 부른다. 모든 게 더 빨라진 요즘 시점에 집단지성으로 이 훈육을 함께하면 좋으련만 조용한 해고 조용한 채용의 채용빙하기라 팀 인력 충원 없이 이마 깨져가면서 홀로 GPT의 훈육방법을 깨쳐나가고 있는 ..

마이크로소프트 365 코파일럿 (Microsoft 365 Copilot) 솔루션 1) GPT 및 LLM 결합방식 : 1) 플러그인 형태로 내장됨 2) 'Business Chat' 기능을 통해 사용자 데이터와 결합해 자체적으로 업데이트 하는 방향 2) 선별된 고객 20개사 대상으로 선제 테스트 진행 중 3) 코파일럿의 대규모 언어 모델은 고객 콘텐츠 또는 개별 프롬프트를 학습하지 않음 (기업의 데이터 보안 및 개인 정보 보호 규약 기반) 2023.05 기준 GPT 연계 MS 솔루션 구분 솔루션 AI 및 GPT 연계기능 Status MS Office MS워드 & 파워포인트 맞춤법, 문법, 작문 스타일에 대한 지능적인 피드백 다양한 언어 지원 및 자연스러운 번역 자연어 명령으로 디자인 제안 및 글 요약/창작 ..

Google Bard 가 나와서 시끌시끌하다. 생각보다 낫다. 한국어 대응이 더 낫다는 말도 있고 하던데 직접 두 LLM 서비스 자연스러움을 한번 체크해보고 싶었다. 둘의 정보량 차이나 자연스러움을 한번 체크해보고 싶기도 하고 요즘 각자가 생각하는 스스로를 가장 잘 쓰는 법을 물어봤다. 나의 질문은 이것. 요즘 chatgpt/Bard에서 사람들이 주로 질문하는 내용은 어떤 거야? 그리고 너가 가장 자신있는 분야가 어떤건지 말해주면서 가장 잘 활용하기 위한 방법도 각각 알려줘 GPT에게는 Azure OpenAI 포함해서 4가지 모델에 질문을 넣어봤다. (1) text-davinci-002-render-sha (https://chat.openai.com) (2) gpt-3.5-turbo / (Azure) (..

기존 OpenAI에서 제공하는 영역보다 보다 폭 넓게 작업하기 위해서 Azure API를 사용하면서 하이퍼파라미터를 공부하고 있는데, MS 내에서 제공하는 문서들을 전체적으로 잘 되어있지만 OpenAI 문서와 관련해서는 실질적으로 파이썬 사이드 MS문서와 openai 공식문서 내에 전체 파라미터를 정리한 내용이 촘촘하게 정리되어 있지 않아서 직접 정리해보았다. (닷넷쪽에 하이퍼파라미터는 잘 설명되어있고 파이썬은 누락이 많음) (2023.05.02 기준 , Azure openai 내 최신화된 Hyperparameter) * best_of / logprobs / logit_bias는 현재 2023-03-preview 버전에서 제공되고 있다. * 그 외에 .net의 경우 echo라는 변수를 통해 말 그대로 입..