ChatGPT

ChatGPT是OpenAI基于GPT-3.5開發的語言模型聊天機器人。ChatGPT以OpenAI的Generative Pre-trained Transformer（GPT）模型命名，它提供用戶問題的答案，并允許用戶以對話方式與后續問題和響應進行交互。

語言模型為用戶的請求生成輸出，能夠編寫代碼、詩歌、歌曲、散文、故事（受特定作者啟發）等。ChatGPT能夠承認錯誤，質疑不正確的問題，拒絕被認為不合適的請求。聊天機器人類似于另一個OpenAI模型InstructGPT，它被訓練為遵循指令并提供詳細的響應。

ChatGPT基于OpenAI的GPT-3.5，這是一系列基于2021年底之前的文本和代碼混合訓練的模型。GPT-3.5等大型語言模型基于互聯網上的大量數據（包括文本和代碼）進行訓練，能夠理解問題的含義并提供類似人類的回答。OpenAI的GPT-3模型基于570千兆字節的文本進行訓練，擁有超過1750億個參數，與其前身GPT-2的15億個參數相比大幅增加。ChatGPT為GPT-3.5模型增加了一個額外的訓練層，稱為帶人反饋的強化學習（RLHF）。該培訓使用人的反饋來改進模型，使ChatGPT能夠更好地遵循方向并產生更好的響應。

2023年1月11日，OpenAI官方Discord分享了一份臨時名為ChatGPT Professional的付費語言模型實驗版的等待名單。新的服務將提供更高的可用性和更快的響應，并為用戶提供至少兩倍于免費版本的每日解答。ChatGPT專業試點的等待名單對任何人開放，并附有一份關于用戶當前如何使用聊天機器人，以及他們認為公平的價格的問卷。

2023年2月1日，OpenAI在美國推出了一個名為ChatGPT Plus的試點訂閱計劃。ChatGPT plus每月費用20美元，為用戶提供以下功能：
即使在高峰時段都可以訪問ChatGPT
更快的響應時間
優先使用新功能和改進

OpenAI將邀請等待名單中的用戶，并計劃將訪問范圍擴大到其他國家。公司計劃根據用戶反饋改進和擴展ChatGPT Plus，并探索低成本計劃，業務計劃和數據包的選項，以提高可用性。

ChatGPT是GPT-3.5系列模型的一個微調版本，使用與OpenAI的InstructGPT相同的RLHF方法進行訓練，此數據集與InstructionGPT數據集混合，并轉換為對話格式。

為了建立強化學習的獎勵模型，ChatGPT收集了人類訓練者和聊天機器人之間的對話作為比較數據（根據質量對兩個或多個回答進行排名的能力）。模型撰寫的信息是隨機選擇的，抽取了幾個備選完成，培訓師對其質量進行排名。使用近端策略優化將此信息反饋到模型中，該過程重復了多次以提高性能。