챗지피티는 우리의 프롬프트에 어떻게 답변할까?

1. 챗지피티의 학습 및 작동 원리

챗GPT는 인터넷을 통해 접근할 수 있는 인공지능 기반 서비스입니다. 우리는 챗GPT를 사용하여 문장을 분류·요약·정렬 ·형식화·변환하거나 새로운 문장을 작성할 수 있습니다. 챗GPT는 방대한 양의 기존 문장들을 "읽고" 단어들이 다른 단어들과 함께 나타나는 맥락을 학습함으로써 사용자 질문과 명령에 응답할 수 있도록 개발되었습니다. 그런 다음 학습한 내용을 사용하여 사용자 요청에 대한 다음에 올 가능성이 가장 높은 단어를 예측하고 그 이후의 단어도 예측합니다. 이는 검색 엔진, 스마트폰 및 이메일 프로그램의 자동 완성 기능과 유사합니다.

2. 챗지피티의 답변 과정 작동 예

예를 들어, 모델 학습 과정(“훈련”이라고 함)에서 우리는 모델이 “대신 왼쪽으로 돌지 않고 그녀는 ___.”와 같은 문장을 완성하도록 할 수 있습니다. 훈련 전에는 모델이 무작위 단어로 응답하지만, 많은 텍스트를 읽고 학습하면서 이러한 유형의 문장을 더 잘 이해하고 더 정확하게 다음 단어를 예측할 수 있게 됩니다. 이 과정을 매우 많은 문장에 대해 반복합니다.

이 문장에서 다음에 올 수 있는 단어는 여러 가지가 있을 수 있기 때문에(예: 대신 왼쪽으로 돌지 않고 그녀는 “오른쪽으로,” “돌아서,” “뒤로” 돌았다), 모델이 응답하는 방식에는 일종의 무작위성이 존재하며, 많은 경우 동일한 질문에 대해 다른 방식으로 답변할 수 있습니다. 그래서 서로 다른 사람은 동일한 프롬프트에 대해 서로 다른 답변을 챗지피티로부터 받을 수 있습니다. 

기계 학습 모델은 "가중치" 또는 "매개변수"라고 불리는 큰 숫자 문자열과 그 숫자들을 해석하고 실행하는 코드로 구성됩니다. 모델은 학습한 정보를 복사하거나 저장하지 않습니다. 대신, 모델이 학습하면서 구성하는 숫자들이 약간 변하여 학습한 내용을 반영하게 됩니다. 위의 예에서 모델은 무작위로 잘못된 단어를 예측하는 것에서 더 정확한 단어를 예측하는 것으로 개선되었지만, 실제로 모델 내부에서 발생한 일은 숫자들이 약간 변경되었다는 것입니다. 모델은 읽은 문장을 저장하거나 복사하지 않았습니다. OpenAI사에 따르면 우리가 프롬프트에서 제공한 정보는 챗지피티의 저장공간에 남지 않고 이를 통해 조정된 단어별 확률 정도가 남는다고 해석 할 수 있겠습니다. 

 

챗지피티가 우리 데이터를 본인의 스토리지에 저장한다는 두려움이 약간 해소 될 수 있을 것 같습니다. 

 

자세한 내용은 아래 링크를 참고하세요.

https://help.openai.com/en/articles/7842364-how-chatgpt-and-our-language-models-are-developed