가볍게 배우고 깊게 즐기고 오래 남기기

Our World in Data에서 세상이 주목하고 있는 AI 모델들의 모델별 학습비용을 리서치했다. 1950년대 모델부터 2023년 5월 출시된 GPT4까지 각 AI Dynamic한 데이터 변동은 아래에서 확인할 수 있다. https://ourworldindata.org/grapher/artificial-intelligence-training-computation Computation used to train notable artificial intelligence systems Computation is measured in total petaFLOP, which is 10¹⁵ floating-point operations. ourworldindata.org 금액면에서 압도적인 GPT4. 하지만 업데..

새롭게 하고 싶은 것들 또는 뭔가 있어빌리티를 가진 것들은 도전을 생각하는 사람에게 물리적이든 심리적이든 허들을 준다. 원하는 것을 가질 자격은 이 장벽을 찢어내느냐에 판가름난다고 느낀다. 누워서 침대에서 떨어지지 못하는 나를 침대에서 찢어내는 경험이든 창피나 무안을 찢고 앞으로 나아가 먼저 액션하는 경험이든 벽을 느끼고 어떤 이유로든(본인의 노력이 부족했든 운이 부족했든) 마음 찢기는 경험이든 도전하고 싶은 것이 생기는 것은 순간이다. 나는 특히 릴스나 쇼츠에서 이 순간을 심심치 않게 자주 마주하는 편인데, 일에 대한 팁나 자기계발이나 성장 관련 조언이 자주 나오는 피드라면 이런 순간은 꽤 자주 찾아온다. 순간의 설렘에 시작하고 바로 따라오는 장밋빛 상상 몇 초에, 언젠가 근시일내를 해야지 하면서 SA..

모든 신기술 서비스의 덫 (이지만 너무나도 중요한) 현재 개발중인 사내 FAQ봇이 단순 FAQ를 넘어 3rd Party와의 연동하도록 설계되어 있기 때문인데, 만보안력의 법칙에 따라 보안성 검토에 나의 피땀이 담긴 사내 GPT봇은 현재 1달 가까이 오픈 계류 중에 있다. (Stage : 보안성 검토 - 검토요건 기준으로 인프라 보완작업 - 미완료 연동 건 작업 - 품질 동일한지 다시 테스트....) 다행히 Prompt 비중이 높았던 이번 봇에서는 현업 테스트에서 모르는 것은 미응답까지 슬랙 채널당 94.4% 정답률을 보이는 성공적인 결과가 나왔다. 테스터 분들은 자체적으로 가이드 추가 요청이나 응답 외의 다양한 형태의 사용경험에 대한 의견을 주시는 등 아주 높은 호응이 있었다. 그래서 난 이 대기기간동안..

코엑스 인터컨티넨탈에서 개최된 SAP NOW Seoul 2023 에 방문했다. Reinvent of 'R'이나 New Vision 등 추상적인 부분에 대한 부분들은 외부 홍보기사가 아닌 내 기준 유의미한 내용들을 체크해봤다. 전반적으로 그린경제를 지원할 수 있는 방향으로의 데이터 흐름, 시스템 구조 변화 산업공학 시절 Life Cycle Assessment가 이 시점에는 이제 Add-on이 아닌 Essential이 된 느낌이다. 최근 외부 업체와의 미팅을 진행하면서 Azure로 기울어진 운동장이라고 느끼는데 이 와중에 Google은 일전의 Salesforce가 그랬듯이 이번엔 SAP과의 제휴를 공고히 했다. 항상 훅을 날릴만한 업체와의 제휴로 아슬아슬 시장의 균형을 맞추는 것을 보면 앞으로 어떤 식으로 ..

와 하루가 다르게 책에, 플러그인에, 유튜브에 , 요즘 물들어올 때 노 저어야 한다지만 요즘 GPT 컨텐츠는 노 젓기도 전에 홍수가 먼저 배를 덮치는 수준이다. 나도 2월 경 부터 사내에서 GPT 프롬프트 개발업무를 병행하고 있다. 튜닝의 끝은 순정이라고 하지만 세상 그 어느 회사도 IT 솔루션을 순정으로 쓰지 않는다. 본디 자유롭게 떠들어야 하는 이 GPT녀석을, 나는 커스텀, 즉 적당히 내가 원하는 범위의 답변을 정확히 생성하도록 단단히 마스크와 족쇄를 채우는 작업을 하고 있다. 우리팀은 이걸 훈육이라고 부른다. 모든 게 더 빨라진 요즘 시점에 집단지성으로 이 훈육을 함께하면 좋으련만 조용한 해고 조용한 채용의 채용빙하기라 팀 인력 충원 없이 이마 깨져가면서 홀로 GPT의 훈육방법을 깨쳐나가고 있는 ..

클라우드 서비스를 진행하기 전에 네트워크 정책, 사용자 권한(IAM), 보안 정책 및 태깅정책 등 등 클라우드 운영 전반적인 운영에 대한 기초 정책/구조 구성을 하는 것이 랜딩존 구축이다. 클라우드 서버 환경에 띄울 리소스를 선정하는 것부터 어떤 식의 운영정책 / 권한정책 / 네이밍 정책을 할 것인지 전반적으로 가이드를 설정하는 토대 공사 / 철조 공사라고 생각하면 될 것 같다. 사람이 없는 조직에서 클라우드로 무언가 해보려고 하다보면 찔끔찔끔 IaaS 업무들, ETL 구성까지 관여해야 하는 상황이 오기 마련이다. Azure IaaS 체크리스트를 만들다가 정리하는 클라우드 아키텍처 요소들 - AWS든 GCP 든 기능/명칭 거의 동일하나 일부 명칭은 Azure의 네이밍을 중심으로 정리한다. Virtual ..

마이크로소프트 365 코파일럿 (Microsoft 365 Copilot) 솔루션 1) GPT 및 LLM 결합방식 : 1) 플러그인 형태로 내장됨 2) 'Business Chat' 기능을 통해 사용자 데이터와 결합해 자체적으로 업데이트 하는 방향 2) 선별된 고객 20개사 대상으로 선제 테스트 진행 중 3) 코파일럿의 대규모 언어 모델은 고객 콘텐츠 또는 개별 프롬프트를 학습하지 않음 (기업의 데이터 보안 및 개인 정보 보호 규약 기반) 2023.05 기준 GPT 연계 MS 솔루션 구분 솔루션 AI 및 GPT 연계기능 Status MS Office MS워드 & 파워포인트 맞춤법, 문법, 작문 스타일에 대한 지능적인 피드백 다양한 언어 지원 및 자연스러운 번역 자연어 명령으로 디자인 제안 및 글 요약/창작 ..

Google Bard 가 나와서 시끌시끌하다. 생각보다 낫다. 한국어 대응이 더 낫다는 말도 있고 하던데 직접 두 LLM 서비스 자연스러움을 한번 체크해보고 싶었다. 둘의 정보량 차이나 자연스러움을 한번 체크해보고 싶기도 하고 요즘 각자가 생각하는 스스로를 가장 잘 쓰는 법을 물어봤다. 나의 질문은 이것. 요즘 chatgpt/Bard에서 사람들이 주로 질문하는 내용은 어떤 거야? 그리고 너가 가장 자신있는 분야가 어떤건지 말해주면서 가장 잘 활용하기 위한 방법도 각각 알려줘 GPT에게는 Azure OpenAI 포함해서 4가지 모델에 질문을 넣어봤다. (1) text-davinci-002-render-sha (https://chat.openai.com) (2) gpt-3.5-turbo / (Azure) (..

확률 (Probability) : (1) Classical approach (전통적 접근) - 똑같은 가능성의 사건을 똑같은 확률값으로 정의하는 것 (2) Relative frequency approach (상대적 접근) ♡ Frequentest - 무수한 실험이 현실적으로 가능하지 않다는 문제, 발생이력이 없는 미확인 가상의 문 적용 불가 (3) Subjective approach (주관적 접근) ♡ Bayesian - 발생 사건에 대해 사람마다 다른 확률값과 해석이 가능 용어설명 → Sample space (=A set of the simple events) : [조건] (1) 전부를 포함( exhaustive) (2) 상호배반적 (exclusive) → "Randomly extracted" = 표본..

보다 효율적인 GPT 연계 개발을 위해서 하이에나처럼 헤매던 중에 Microsoft와 AIFactory에서 주최하는 챗GPT MS애저톤을 참가할 기회가 생겼다. 마음 같아서는 슬랙이나 기타 3rd Party 솔루션과 연동해서 GPT 서비스로 진행해보고 싶었는데 아쉽게도 내가 공지를 본 시점이 마감이 며칠 얼마 남지 않은 시점이라 프론트를 건들다가 프롬프트 엔지니어링으로 빠르게 선회했다. 출품하고 나니 규모가 큰 공모전은 아니었지만 배우는 것들도 많았고, 정말 빛나는 아이디어들이 많아서 새삼 아이디어가 승부인 GPT시대라는 것이 새삼스럽게 와닿았다. 마감 직전에 출품해서 약간 비문도 있었지만 감사하게도 업무효율화 분야에서 좋은 평가를 주셔서 수상 기념으로 공모전 내용을 공개하려고 한다. 이 프롬프트가 어떤..

기존 OpenAI에서 제공하는 영역보다 보다 폭 넓게 작업하기 위해서 Azure API를 사용하면서 하이퍼파라미터를 공부하고 있는데, MS 내에서 제공하는 문서들을 전체적으로 잘 되어있지만 OpenAI 문서와 관련해서는 실질적으로 파이썬 사이드 MS문서와 openai 공식문서 내에 전체 파라미터를 정리한 내용이 촘촘하게 정리되어 있지 않아서 직접 정리해보았다. (닷넷쪽에 하이퍼파라미터는 잘 설명되어있고 파이썬은 누락이 많음) (2023.05.02 기준 , Azure openai 내 최신화된 Hyperparameter) * best_of / logprobs / logit_bias는 현재 2023-03-preview 버전에서 제공되고 있다. * 그 외에 .net의 경우 echo라는 변수를 통해 말 그대로 입..