來源：有新Newin

在 OpenAI 首次开發者日的發布會上，Sam Altman 闡述了公司一系列重要的進展，不限於 GPT-4 Turbo，這是一個功能更強大、上下文更長、控制更多的新模型，另外還推出了 Assistance API，以簡化开發者構建輔助代理的體驗，OpenAI 強調了自然語言將成爲未來與計算機互動的重要方式，同時也介紹了通過對話編程 GPT 的能力，Altman 宣布了 GPT 商店的即將推出，這將允許用戶分享和發現創新的 GPT 應用，並提供收入分享激勵。Altman 還談到了與微軟的深化合作，展示了新的文本到語音模型和改進的功能調用，總結下來包括以下幾個環節：

• GPT-4 Turbo: 新模型推出，上下文長度增加，控制更精准。

• Assistance API: 爲开發者提供創建輔助代理的簡化流程。

• 自然語言編程: 展示了通過對話創建 GPT 的方法。

• GPT 商店: 允許用戶分享和發現 GPT 應用，並爲創造者提供收入分享。

• 微軟合作: 展示了新的文本到語音模型，以及微軟 CEO Satya Nadella 的講話。

• 團隊感謝: Altman 對 OpenAI 團隊的工作表示感謝。

• 技術展示: 展示了新功能，包括用於旅遊應用的演示和語音激活的助手。

以下是 OpenAI 首次开發者日的所有完整內容：

首先，Altman 回顧了去年 11 月 30 日 ChatGPT 作爲一個低調的研究預覽版發布的情況，並自豪地宣布了 3 月推出的 GPT-4，這是目前世界上最強大的模型。

Altman 還介紹了在過去幾個月中爲 ChatGPT 引入的語音和視覺功能，使其具備了看、聽和說的能力，並宣布了 DALL·E 3 的推出，這是世界上最先進的圖像模型，並已整合到 ChatGPT 中。

對企業級客戶，OpenAI 推出了 ChatGPT Enterprise，它提供了更高速的 GPT 訪問、更長的上下文窗口以及更多的企業級安全性和隱私保護。Altman 揭示了約有 200 萬开發者正在使用他們的 API，超過 92% 的財富 500 強公司在構建基於他們產品的解決方案，並且 ChatGPT 現在擁有大約 1 億周活躍用戶。他特別指出，這一成就完全依賴於口碑傳播，因爲用戶發現產品有用並推薦給朋友。他最後指出，盡管數據令人矚目，但更重要的是人們如何使用這些產品，如何利用 AI，隨後展示了一段視頻，直觀展現了這些進展。

在 OpenAI 的开發者大會上，Sam Altman 通過一段視頻給我們呈現了人工智能如何深刻影響人們的個人生活和創造力。視頻中的一個案例講述了一個人使用 ChatGPT 以非浪漫的方式，但又充滿尊重和深情，用他父親的母語——他加祿語——和一個復雜的語法結構告訴父親他的愛和支持。這個案例展示了 ChatGPT 在理解和應用文化與語言細微差別方面的能力。

Altman 介紹說，ChatGPT 的創造性應用令人驚嘆，可以助力創造者擴展思維，增強信心。一個例子是，有人用 ChatGPT 協助他們做日常事務，比如檢查冰箱缺少什么，規劃素食食譜，甚至是幫助創建電子表格和編寫代碼；另一個視頻中的人物發現了 ChatGPT 的親和力、耐心、知識淵博和響應速度。對於一個 4.0 的學生兼四個孩子的母親而言，ChatGPT 能夠提供問題的解答及其解釋，減少了對家教的依賴，爲她贏得了更多和家人以及自己相處的時間。最後，視頻中還有一個人講述了他如何在經歷了脊髓和大腦手術後，受限於左手的使用。現在，通過使用 ChatGPT 的語音輸入和對話功能，這位用戶得到了極大的幫助和便利。這些個案故事一方面體現了 ChatGPT 在提供日常生活幫助、學習支持和克服障礙方面的巨大潛力，另一方面也展示了 AI 如何在全球範圍內以前所未有的方式連接和賦能用戶。

接着，Sam Altman 分享了人們如何利用他們的技術，並強調這正是他們工作的原因。接着，他宣布了一系列新的進展。Altman 說，他們花了大量時間與全球开發者交流，聆聽他們的反饋，這些反饋對今天要展示的內容影響深遠。

OpenAI 推出了新型號 GPT-4 Turbo。這個新模型將解決許多开發者提出的需求。他詳細介紹了六大更新：首先是上下文長度，GPT-4 支持長達 8000 個 token 的上下文，在某些情況下可以達到 32000 個。而 GPT-4 Turbo 支持長達 128000 個 token 的上下文，相當於標准書籍的 300 頁，比 8000 個 token 的上下文長 16 倍。除了更長的上下文長度，這個模型在處理長上下文時的准確性也有了顯著提高。

第二個更新是更多的控制權。爲滿足开發者對模型響應和輸出的更多控制需求，他們引入了一個名爲 JSON 模式的新功能，確保模型響應有效的 JSON，這將大大簡化 API 調用。模型在函數調用方面也有所改進，可以同時調用多個函數，並且更好地遵循指令。他們還引入了一個名爲“可復現輸出”的新功能，通過傳遞一個種子參數，可以使模型返回一致的輸出，這顯然提供了對模型行爲更高程度的控制。這個功能目前處於測試階段。

接下來幾周，他們將推出一個新功能，允許在 API 中查看日志探針。第三個更新是更好的世界知識。爲了使模型能夠訪問更准確的世界知識，他們推出了檢索功能，允許從外部文檔或數據庫中提取知識。他們還更新了知識截止日期，GPT-4 Turbo 的世界知識更新到了 2023 年 4 月，並將繼續改進。

第四個更新是新的模態，DALL·E 3、GPT-4 Turbo 的視覺功能和新的文本到語音模型今天都進入了 API，已有少數客戶开始使用 DALL·E 3 以編程方式生成圖像和設計。今天，Coca-Cola 正在啓動一個活動，讓客戶使用 DALL·E 3 生成排燈節賀卡。

當然，他們的安全系統幫助开發者防止應用程序被濫用，這些工具可以在 API 中使用。GPT-4 Turbo 現在可以通過 API 接受圖像輸入，並生成標題、分類和分析。例如，Miis 使用這項技術幫助盲人或視力低下的人進行日常任務，如識別他們面前的產品。而通過新的文本到語音模型，你將能夠在 API 中從文本生成聽起來非常自然的音頻，有六種預設聲音可供選擇。

Altman 播放了一個例子，他播放了一個聲音示例，展示了他們新的文本到語音模型的自然度。這種聲音轉換技術使得應用程序的交互更加自然和可訪問，並解鎖了像語言學習和語音助手等許多用例。

Altman 還宣布了他們的开源語音識別模型 Whisper v3 的下一個版本，並表示它將很快加入 API。這個版本在多種語言上的性能都有所提高，他認爲开發者們會非常喜歡。

接着，他討論了定制化問題。自幾個月前推出 GPT 3.5 以來，微調功能表現良好。從今天开始，這將擴展到模型的 16K 版本。他們還邀請積極使用微調的用戶申請 GPT-4 微調實驗訪問計劃。微調 API 非常適合在各種應用中通過相對較少的數據來改進模型的性能，無論是學習全新的知識領域還是使用大量專有數據。

第五個更新，Altman 宣布了一個名爲“自定義模型”的新計劃，OpenAI 的研究人員將與公司密切合作，使用他們的工具爲特定用例打造專門的定制模型。這包括修改模型訓練過程的每一個步驟，進行特定領域的預訓練，定制強化學習後訓練過程等。他承認，一开始他們無法與許多公司合作，這將是一項大量的工作，並且至少在初期並不便宜。但如果有企業希望將事物推向目前的極限，請與他們聯系。

此外，Altman 宣布了更高的速率限制。他們將爲所有現有的 GPT-4 客戶的每分鐘 token 數量翻倍，使其更容易做更多事情，並且可以直接在 API 账戶設置中請求更改進一步的速率限制和配額。除了這些速率限制，他們還引入了版權盾，這意味着如果客戶面臨版權侵權的法律索賠，OpenAI 將介入保護客戶並支付產生的費用。這適用於 ChatGPT Enterprise 和 API。他清楚地提醒大家，他們從不使用來自 API 或 ChatGPT Enterprise 的數據進行訓練。

Altman 接着講到一個比前面所有提及的還要大的开發者請求，那就是定價問題。他宣布 GPT-4 Turbo 不僅比 GPT-4 更智能，而且價格更便宜，提示 token 降低了 3 倍，完成 token 降低了 2 倍。新定價爲每千個提示 token 0.01 美元，每千個完成 token 0.03 美元。這導致 GPT-4 Turbo 的綜合費率比 GPT-4 便宜了超過 2.75 倍。他們非常努力地實現了這一點，並希望大家對此感到興奮。

在決定優先考慮價格問題時，他們不得不在價格和速度之間做出選擇，但接下來他們將致力於提高速度。他還宣布了 GPT 3.5 Turbo 16K 的降價，輸入 token 降低了 3 倍，輸出 token 降低了 2 倍，這意味着 GPT 3.516K 現在比以前的 GPT 3.54K 模型更便宜。運行微調過的 GPT 3.5 Turbo 16K 版本也比舊的微調 4K 版本更便宜，他表示希望這些變化能解決大家的反饋問題，並非常興奮地將這些改進帶給每個人。

在介紹這一切時，他提到 OpenAI 很幸運有一個合作夥伴在使這一切成爲可能方面起着至關重要的作用。於是他請來了一位特別嘉賓，微軟的 CEO Satya Nadella。

Nadella 回憶起第一次接觸 OpenAI 時，Altman 問他是否有一些 Azure 積分可用，他們從那時起就走過了很長的路。他稱贊 OpenAI 建立了一些神奇的東西，並且分享了微軟對合作關系的兩個看法：首先是工作負載，他們一起從電力到數據中心，再到機架和加速器，乃至網絡，共同構建系統，以支持 OpenAI 正在建立的模型。微軟的目標是建造最好的系統，以便 OpenAI 能夠構建最佳的模型，並將其提供給开發者。其次，微軟本身也是一個开發者，正在構建產品。Nadella 提到，他首次見到 GitHub Copilot 和 GPT 後，對這整代基礎模型的信念完全改變了。他們致力於在 OpenAI 的 API 之上構建自己的產品，並希望將 GitHub Copilot 企業版提供給在場的所有與會者試用。

Altman 還詢問了 Nadella 對合作關系未來和 AI 未來的看法。Nadella 強調，微軟全力投入於提供所需的系統和計算資源，以支持 OpenAI 在其路线圖上大膽前進。他們致力於提供最佳的訓練和推理系統，以及最多的計算資源，以便 OpenAI 能夠不斷推動前沿發展。Nadella 認爲，AI 的真正價值在於它能賦能人們，這與 OpenAI 和微軟的使命相一致——賦能地球上每個人和每個組織去實現更多。他提到，安全性是他們合作中的一個關鍵焦點，並且這是他們共同努力的重點，不是事後才考慮的問題。Nadella 的這些話強調了 OpenAI 和微軟合作的深度和目的，展現了兩家公司在推動 AI 發展和普及方面的共同愿景。

接着，Altman 轉向了會議的主題，雖然這是一個針對开發者的會議，但他們還是對 ChatGPT 進行了一些改進。現在，ChatGPT 使用了 GPT-4 Turbo 和所有最新的改進，包括最新的知識截止時間，並將繼續更新，這些改進已經在當天生效。ChatGPT 現在能夠在需要時瀏覽網絡，編寫和運行代碼，分析數據，生成圖像等等。他們也聽到了用戶反饋，認爲模型選擇器極其煩人，因此已經取消了。從今天开始，用戶不必在下拉菜單中點擊，ChatGPT 將自動知道何時使用哪個功能。

Altman 指出，盡管價格是一個重要問題，但這並不是开發者請求的主要內容。他們相信，如果給人們更好的工具，他們將做出驚人的事情。人們希望 AI 更聰明、更個性化、更可定制，並能代表用戶做更多的事情。最終，用戶只需請求電腦，它就會爲你完成所有這些任務。在 AI 領域，這些能力通常被稱爲“代理”。爲了解決 AI 的安全問題，OpenAI 認爲逐步迭代的部署是最佳方式，並且認爲謹慎地朝這個“代理”的未來邁進尤爲重要。這將需要大量的技術工作和社會的深思熟慮。

於是，他們邁出了向這個未來邁進的第一小步。Altman 非常激動地介紹了 GPT——爲特定目的量身定做的 ChatGPT 版本。你可以用指令、擴展知識和行動來構建幾乎任何事物的定制版本的 ChatGPT，然後發布供他人使用。由於它們結合了指令、擴展知識和行動，它們可以更有用，更適合多種情境，並提供更好的控制。

它們將使完成各種任務變得更容易，或者只是讓你有更多樂趣。你可以直接在 ChatGPT 中使用它們。實際上，你可以通過與它對話來用語言編程 GPT。它很容易定制行爲以適應你的需求。這使得構建它們非常容易，並賦予了每個人能力。

Altman 繼續說，他們將展示 GPT 是什么、如何使用它們、如何構建它們，然後將討論它們將如何被分發和發現。之後，對於开發者，他們將展示如何將這些類似代理的體驗構建到自己的應用中。

他介紹了幾個例子。code.org 的合作夥伴正在努力擴展學校的計算機科學課程，他們擁有全球數千萬學生使用的課程。Code.org 制定了一個教學計劃和 GPT，以幫助老師爲中學生提供更吸引人的體驗。例如，如果老師要求以創造性的方式解釋循環，它就會這樣做，在這個案例中，它會用視頻遊戲角色重復撿硬幣的方式來解釋，這對八年級學生來說非常容易理解。這個 GPT 結合了 code.org 廣泛的課程和專業知識，讓老師可以快速輕松地根據自己的需求進行調整。

接下來，Canva 構建了一個 GPT，你可以通過用自然語言描述你想要的設計來开始設計工作。如果你說，今天下午爲 Dev Day 招待會制作一張海報，並提供一些細節，它將通過調用 Canva 的 API 生成一些起始選項。

Altman 指出，對於一些人來說，這個概念可能很熟悉。他們將插件發展成爲 GPT 的自定義行動。你可以繼續與這個聊天，看不同的迭代，當你看到喜歡的，你可以點擊穿越到 Canva 以獲得完整的設計體驗。

然後，他們想現場展示一個 GPT。Zapier 構建了一個 GPT，可以讓你跨越 6000 個應用程序執行行動，解鎖各種集成可能性。Altman 介紹了 OpenAI 的解決方案架構師 Jessica，她將負責演示。

解決方案架構師 Jessica Shei 上台並迅速开始了演示，Jessica 指出 GPTs 將位於界面的左上角，並展示了一個名爲 Zapier AI actions 的實例。她展示了自己當天的日歷，並提到已經將 GPTs 連接到了她的日歷。

在演示中，Jessica 詢問了當天的日程安排。她強調，構建 GPTs 時考慮到了安全性，任何行動或數據共享之前，系統都會請求用戶的許可。她允許 GPTs 訪問她的日程，並說明 GPTs 被設計爲接受用戶的指令，決定調用哪個功能來執行相應的動作。

接着，Jessica 展示了 GPTs 如何成功連接到她的日歷，並提取了日程信息。她還指示 GPTs 檢查日歷上的衝突，並顯示出它成功地識別出了一個衝突。然後，她演示了如何讓一個名爲 Sam 的人知道她需要提早離开，並切換到與 Sam 的對話中，請求執行這一操作。

當 GPTs 完成了請求後，Jessica 問 Sam 是否收到了通知，Sam 確認了收到。Jessica 以此爲例說明了 GPTs 的潛力，並表達了對看到其他人將會構建什么的期待。

接下來 Sam 繼續介紹了更多 GPT 的例子。他提到，除了演示的那些，還有許多正在被創造的 GPT，以及很快將會被創造出來的。他意識到許多想要構建 GPT 的人不會編程，所以他們使得人們可以通過對話來編程 GPT。Altman 相信自然語言將是人們未來使用計算機的重要部分，並認爲這是一個有趣的早期例子。

接着，Altman 展示了如何構建一個 GPT。他想要創建一個幫助創始人和开發者在啓動新項目時提供建議的 GPT。他進入 GPT 構建器，告訴它他想要的東西，並且 GPT 开始基於他的描述構建詳細的指令。它還提出了一個名字“startup mentor”，並且在預覽模式中开始填充信息和可能的問題。Altman 上傳了他之前關於創業的演講稿，以此爲基礎提供建議，並在指令中添加了“簡潔和建設性反饋”。

然後，Altman 在預覽標籤中嘗試了這個 GPT，並對結果表示滿意。他決定暫時只將其發布給自己，以便之後進一步完善和分享。他提到，他一直想要創建一個這樣的機器人，現在很高興能夠實現這一點。Altman 強調，GPTs 允許人們輕松地分享和發現他們用 ChatGPT 做的有趣事情。人們可以創建私有的 GPT，或者通過鏈接公开分享他們的創作，或者如果他們使用 ChatGPT Enterprise，可以只爲他們的公司制作 GPTs。他們計劃在本月晚些時候推出 GPT 商店，人們可以在那裏列出 GPT，並且 OpenAI 將特別展示最好和最受歡迎的 GPTs。

Altman 還提到，OpenAI 將確保商店中的 GPT 遵循他們的政策，OpenAI 重視收入分享，將向構建最有用和最受歡迎的 GPTs 的人支付一部分收入。他們期待通過 GPT 商店培養一個充滿活力的生態系統，並對即將分享的更多信息感到興奮。

Altman 也強調，這是一個針對开發者的會議，他們將同樣的概念帶到了 API。他提到，許多人已經在 API 上構建了類似代理的體驗，例如 Shopify Sidekick 和 Discord 的 Collide，以及可以添加到群聊中並提供推薦的定制聊天機器人 my AI。這些體驗很棒，但構建它們通常很困難，有時需要數月時間和數十名工程師的團隊。爲了簡化這一過程，他們推出了新的 Assistance API。

Assistance API 包括持久的线程，內置的檢索代碼解釋器，一個工作的 Python 解釋器和沙箱環境，以及他們之前討論過的改進的函數調用功能。

接着是 OpenAI 开發者體驗負責人 Raman 展示這是如何工作的。Ramon 表示，看到許多人將 AI 融入他們的應用程序令他感到鼓舞。Ramon 宣布，他們不僅在 API 中推出了新的模式，還非常興奮地改善了开發者體驗，以便大家能夠更容易地構建輔助代理。然後，他直接展示了構建流程。

Ramon 介紹了他正在構建的名爲“wanderlust”的旅行應用程序，用於全球探險者。他還展示了利用 GPT-4 生成的目的地創意，以及使用當天對所有人开放的新 DALL·E 3 API 程序化生成的插圖。隨後，Ramon 展示了如何通過添加一個簡單的助手來增強應用程序。他切換到新的輔助工具遊樂場，創建一個助手，爲它命名，提供初始指令，選擇模型，啓用代碼解釋器和檢索功能，然後保存。

Ramon 接着介紹了如何將這個助手集成到應用程序中，他查看了一些代碼，並演示了如何爲每個新用戶創建一個新线程，並將他們的消息添加到這些线程中。他還展示了如何隨時運行助手，將響應返回到應用程序中。

接下來，Ramon 展示了功能調用，一個他特別喜歡的功能。功能調用現在保證了 JSON 輸出，並且可以同時調用多個函數。然後，他演示了助手如何知道包括在右側地圖上標注的功能，並在地圖上實時添加標記。

Ramon 還討論了檢索功能，這是關於給助手提供超出即時用戶消息的更多知識。他上傳了一個 PDF 文件，系統讀取這些文件，並在屏幕上顯示信息。然後，他也將 Airbnb 的預訂信息拖放到對話中。

Ramon 強調，开發者們通常需要計算嵌入、設置分塊算法，而現在所有這些都被新的有狀態 API 所處理。他還展示了开發者儀表板中可以看到工具採取的步驟，包括被調用的函數和上傳的 PDF 文件。

然後，Ramon 討論了許多开發者期待已久的新功能：代碼解釋器，它現在也在 API 中可用。它使 AI 能夠即時編寫和執行代碼，甚至生成文件。他演示了如果說出一個需要進行貨幣換算和天數計算的問題，代碼解釋器將如何工作。最後，Ramon 概述了如何快速創建一個代理，它可以爲用戶對話管理狀態，利用外部工具如知識檢索和代碼解釋器，並調用自己的函數來實現功能。

Ramon 還介紹了結合新發布的模式和功能調用的功能，他爲 Dev Day 構建了一個自定義助手。而且，他決定使用語音代替聊天界面。他展示了一個簡單的 Swift 應用程序，可以接收麥克風輸入，並在終端日志中顯示後台發生的事情。他使用了 whisper 將語音輸入轉換爲文本，利用 GPT-4 Turbo 的助手，並且使用新的 TTS API 使其發聲。

Ramon 還演示了助手如何連接到互聯網並爲用戶執行真實操作。他提出讓助手隨機爲五名 Dev Day 參與者提供 $500 的 OpenAI 信用，並且助手成功完成了這項任務。

最後，在 OpenAI 开發者日的閉幕演講中，Sam Altman 表示輔助 API 已進入 beta 測試階段，他對看到开發者將如何使用它感到非常興奮。他強調 GPT 和輔助工具是通向更爲復雜的代理的先驅，這些代理將能夠爲用戶規劃和執行更復雜的任務。

Altman 再次強調了逐步迭代部署的重要性，並鼓勵人們現在就开始使用這些代理，以便適應它們變得更加能幹的未來世界。他保證 OpenAI 將繼續根據用戶的反饋更新系統，他表示 OpenAI 擁有傑出的人才密度，但仍需要大量的努力和協調才能實現所有這些。他覺得自己有世界上最好的同事，對能與他們一起工作感到無比感激。

之所以 OpenAI 的團隊如此努力的原因：他們相信 AI 將是技術和社會革命的一部分，它將以多種方式改變世界。Altman 提到，他們早些時候討論過，給人們更好的工具，他們就能改變世界。他相信 AI 將帶來前所未有的個人賦能和代理規模，從而將人類提升到一個前所未有的層次。隨着智能的普及，我們都將隨時擁有超能力。他對大家將如何使用這項技術以及我們共同構建的新未來感到興奮。

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。