OpenAI的創辦人之一Andrej Karpathy，在這影片中，Andrej深入探討大型語言模型（LLMs）的實際應用，特別是如何在日常生活中利用這些工具。隨著LLM生態系統的快速發展，讓我們一起探索這些模型的不同功能及其在生活和工作中的應用方式。
目录
- 🌱 LLM生態系統的成長介紹
- 🔧 ChatGPT互動的內部運作
- 📝 基本LLM互動示例
- 💵 注意所使用的模型及其定價層級
- 🧠 思考模型及何時使用
- 🔍 工具使用：互聯網搜索
- 🔬 工具使用：深度研究
- 📄 文件上傳，將文檔添加到上下文中
- 🛠️ 工具使用：Python解釋器與生態系統的混亂
- 📊 ChatGPT高級數據分析：數據可視化的助手
- 🖼️ Claude的Artifacts：應用程序與圖表生成
- 🎨 Cursor：創作與編程的助手
- 🎤 音頻輸入/輸出：語音交互的未來
- 🗣️ 進階語音模式：真正的音頻交互
- 📚 NotebookLM：個性化播客生成
- 🖼️ 圖像輸出：DALL-E及其競爭者
- 📹 影片輸入：通過視訊與模型互動
- 🎞️ 影片輸出：快速生成高質量影片
- 🧠 ChatGPT記憶功能：讓模型更懂你
- 📝 自定義指令：個性化你的ChatGPT
- 🌍 自定義GPTs：為語言學習量身定制
- 🔄 總結
🌱 LLM生態系統的成長介紹
大型語言模型（LLMs）生態系統的成長是驚人的。從最初的ChatGPT開始，許多新型的語言模型和應用程序相繼問世，為用戶提供了多樣化的選擇。在這個快速發展的環境中，各種公司和創新者不斷推陳出新，讓我們能夠享受到更智慧、更高效的語言處理工具。
OpenAI的ChatGPT不僅是最早的語言模型之一，還是目前市場上最受歡迎的選擇之一。隨著時間的推移，許多競爭者也進入了這領域，包括Google的Gemini、Anthropic的Claude和Elon Musk的Grok等。這些模型各具特色，滿足不同需求的用戶。
隨著這些模型的多樣化，使用者不僅可以選擇最適合他們需求的工具，還可以根據自己的預算選擇合適的定價方案。這樣的生態系統讓用戶能夠根據自己的需求和使用情況，靈活選擇最佳的語言模型。
🔧 ChatGPT互動的內部運作
在與大型語言模型互動時，了解其內部運作是非常重要的。用戶通過輸入文字，模型則通過生成回應來進行交流。在這一過程中，模型會將用戶的輸入和回應轉換為一系列的“標記”，這些標記是模型理解和生成文字的基礎。
例如，當我們請求ChatGPT創作一首詩時，模型會將這個請求轉換為標記，然後根據這些標記生成回應。這些標記形成了一個一維的標記序列，模型根據這些序列來推斷下一個可能的標記，從而生成最終的文字回應。
這個過程不僅涉及到模型的內部結構，還包括用戶與模型之間的交互。用戶的每一次輸入都是模型生成回應的基礎，而模型則會根據前面的對話內容來調整其回應，以提供更連貫的對話體驗。
📝 基本LLM互動示例
使用大型語言模型的互動非常簡單。用戶只需輸入問題或請求，模型便會生成相應的回應。以下是一些基本的互動示例：
- 請求創作一首詩或俳句。
- 詢問某個主題的簡介，例如“請告訴我關於量子物理的基礎知識。”
- 請求撰寫電子郵件或求職信。
這些範例展示了大型語言模型在文字生成方面的強大能力。無論是創造性寫作還是回答具體問題，這些模型都能提供高品質的回應，幫助用戶更有效地完成任務。
💵 注意所使用的模型及其定價層級
在選擇大型語言模型時，了解所使用的模型及其定價層級至關重要。不同的模型具有不同的功能和性能，而其定價也反映了這些差異。一般來說，功能更強大的模型會有更高的使用成本。
例如，OpenAI的ChatGPT提供了不同的訂閱層級，免費版的模型可能會有性能上的限制，而付費版則能夠使用更高級的功能和更準確的模型。用戶應根據自己的需求，選擇最合適的定價方案，這樣才能在使用中獲得最佳的體驗。
另外，隨著新模型的推出，使用者也應該不斷更新自己的知識，以便選擇最適合的工具。無論是進行創意寫作、編程還是其他專業任務，選擇合適的模型都能大大提高工作效率。
🧠 思考模型及何時使用
思考模型是大型語言模型中的一個重要概念。這些模型經過強化學習的調整，能夠在解決問題時展現出更高的準確性和更深的思考能力。特別是在數學和程式編碼等需要深入思考的問題上，思考模型的表現通常會優於普通模型。
當用戶面對複雜的問題時，可以選擇使用思考模型。這些模型會花費更多的時間進行思考，並生成更具深度的回應。雖然這可能需要等待幾分鐘，但在解決困難問題時，這樣的等待通常是值得的。
用戶在使用思考模型時，應根據具體情況來選擇是否需要這種模型。對於簡單的問題，普通模型的速度和效率可能更高，而對於複雜的問題，選擇思考模型則能夠獲得更準確的答案。
🔍 工具使用：互聯網搜尋
大型語言模型的強大之處在於其能夠使用多種工具來提高其回應的品質和準確性。其中，互聯網搜尋是一個特別有用的工具。通過這一功能，模型可以訪問最新的資訊，並將其納入到回應中。
例如，當用戶詢問某部電視劇的最新集數時，如果這個資訊在模型的知識範圍外，模型可以自動執行互聯網搜尋，獲取最新的資料。這樣的功能不僅提高了模型的實用性，也使得用戶能夠獲得更準確的答案。
使用互聯網搜尋時，用戶只需將問題輸入模型，然後選擇使用搜尋工具，模型將自動進行搜尋，並將獲得的資料納入上下文中，從而生成更準確的回答。
🔬 工具使用：深度研究
深度研究是一項相對較新的功能，結合了互聯網搜尋和思考模型的優勢。通過深度研究，模型能夠進行多次的互聯網搜索，並分析大量的信息，從而生成一份詳細的報告。
例如，用戶可以請求模型對某個主題進行深度研究，模型將花費數分鐘的時間來整理和分析資料。這項功能特別適合需要深入了解的主題，並且能夠提供更為詳細和有用的資料。
使用深度研究時，用戶可以根據具體需求選擇不同的參數和重點，這樣模型能夠生成最符合用戶需求的報告。這不僅提高了研究的效率，還能幫助用戶更好地理解複雜的主題。
📄 文件上傳，將文件新增到上下文中
大型語言模型的另一個強大功能是文件上傳。用戶可以將文件上傳至模型，並請求模型根據這些文件生成回應。這使得用戶能夠將具體的資料納入到對話中，從而提高回應的準確性。
例如，當用戶在閱讀某篇科學論文時，可以將該論文上傳至模型，並請求模型進行摘要分析。這樣的功能特別適合於需要對具體文獻進行深入理解的情況。
文件上傳的過程簡單，用戶只需將文件拖放至模型界面，然後提出相關問題，模型將根據上傳的文件提供回應。這樣的互動模式不僅提高了學習效率，還能幫助用戶更快地消化和理解複雜的內容。
🛠️ 工具使用：Python解釋器與生態系統的混亂
使用Python解釋器的功能能夠讓大型語言模型（LLMs）擁有寫程式的能力。這意味著，模型不再僅僅是直接回答問題，而是可以編寫電腦程式，並生成特殊標記，這些標記會讓ChatGPT應用程式識別出這是程式碼，而不是人類可讀的文本。
舉例來說，當我們給模型一個簡單的乘法問題，比如“30 x 9”，模型可以快速地計算出結果270。然而，這其實並不是在真正進行數學運算，而是模型在記憶中進行推理。如果問題變得更為複雜，比如需要計算更大的數字，模型就會轉而使用其工具。
OpenAI已經訓練ChatGPT以識別那些它無法在腦海中解決的問題，並相應地依賴工具來處理。這樣的工具使用能力使得模型能夠在面對複雜的數學或編碼問題時，更加靈活高效。
📊 ChatGPT高級數據分析：數據可視化的助手
ChatGPT的高級數據分析功能使其成為一個類似初級數據分析師的工具。用戶可以要求模型收集數據並進行分析，這對於需要可視化數據的任務非常有用。舉例來說，如果我們想要研究OpenAI的估值變化，模型可以自動查找相關數據並生成圖表。
在這個過程中，模型不僅會生成數據表，還會使用Python程式碼建立可視化圖形。這種自動化的數據分析和視覺化能力，讓用戶可以輕鬆地理解複雜的數據趨勢。
🖼️ Claude的Artifacts：應用程式與圖表生成
Claude的Artifacts功能讓用戶能夠生成自定義應用程式。例如，用戶可以要求生成Flashcards應用程式，Claude會根據用戶提供的文本自動撰寫應用程式，並在瀏覽器中運行。
這種生成應用的能力不再依賴於傳統的軟體工程師，而是讓用戶能夠獲得專屬的應用，這在許多學習和創意任務中都顯得尤為重要。利用這一工具，用戶不僅能夠建立Flashcards，還可以生成概念圖，幫助理解複雜的理論或章節。
🎨 Cursor：創作與編碼的助手
Cursor是一款非常強大的編碼工具，能夠與用戶的文件系統直接互動。這意味著用戶可以在本地環境中建立應用環境，而不需要在網頁中來回切換。這樣的設計不僅提高了編碼效率，還能讓用戶專注於創作過程。
例如，用戶可以要求Cursorru建立一個簡單的React應用程式，這樣的功能使得開發變得更加直觀與便捷。Cursor不僅能夠自動生成程式碼，還能根據用戶的需求進行調整，這樣的靈活性使得編碼過程變得更加高效。
🎤 音頻輸入/輸出：語音互動的未來
音頻輸入和輸出是大型語言模型的新興功能，用戶可以通過語音與模型互動，不再需要依賴鍵盤輸入。這對於在移動設備上使用模型來說，尤其方便。
在移動裝置上，用戶可以輕鬆使用語音輸入功能，而在桌面環境中，則可以使用第三方應用程式將語音轉換為文本。這樣的功能大大提高了用戶的使用體驗，特別是在快節奏的日常生活中。
🗣️ 進階語音模式：真正的音頻互動
進階語音模式允許用戶以音頻形式直接與模型互動，而不需要將音頻轉換為文本。這使得模型能夠更自然地理解和生成語音，提升了互動的流暢性。
這一技術的發展讓我們能夠在更自然的對話中與模型互動，無論是進行日常對話還是深入討論複雜主題，這種音頻互動都顯得尤為重要。
📚 NotebookLM：個性化播客(Podcast)生成
NotebookLM允許用戶上傳資料並生成個性化播客。對於希望在日常生活中獲得知識的用戶來說，是一個非常有用的功能。用戶可以選擇感興趣的主題，並生成相應的播客內容，這樣的功能讓學習變得更加靈活。
這一工具不僅能夠提供個性化的學習體驗，還能夠在用戶進行日常活動時，讓他們隨時隨地獲得所需的知識，這無疑提升了學習的便利性。
🖼️ 圖片輸出：DALL-E及其競爭者
大型語言模型的應用不僅限於文本生成，還可以生成圖片。OpenAI的DALL-E是這方面的佼佼者，目前已經進化到第三版。用戶可以通過提供任意的提示，生成精美的圖片，無論是風景、人物還是抽象藝術，DALL-E都能勝任。
例如，DALL-E可以生成京都的某個寺廟的圖片，這是我親自造訪過的地方。這樣的圖片不僅具有藝術性，還能根據用戶的需求，添加特定的風格或主題。
實際上，DALL-E的圖片生成是透過將文字轉換成圖片的過程來實現。在這個過程中，模型會根據用戶的提示生成圖片的描述，然後將這些描述傳遞給一個專門的圖片生成模型。這種分工使得圖片生成更加高效。
除了DALL-E，還有其他競爭者如Ideogram和ChassisPT等，它們也提供類似的功能。這些工具可以用來生成圖片、插圖等，讓創作者能夠更靈活地表達自己的想法。
📹 影片輸入：通過視訊與模型互動
大型語言模型的另一個令人振奮的功能是影片輸入能力。這項功能目前在移動應用中可用，允許用戶通過相機直接向模型展示實際物體或場景。用戶只需將相機對準物體，模型便能識別並進行對話。
例如，當你對著鏡頭時，模型能夠識別出房間裡的黑色吸音泡沫，並詢問你是否在測試它們的效果。這樣的互動非常直覺，用戶可以隨時詢問關於他們所指物體的問題。
雖然這個功能在日常使用中可能不如文本查詢那麼普遍，但它對於希望以更自然方式與模型互動的用戶來說，無疑是一個極好的選擇。這種即時的視覺互動可以讓用戶更輕鬆地進行探索和學習。
🎞️ 影片輸出：快速生成高畫質影片
隨著技術的進步，現在有許多工具可以生成影片，這些工具的發展速度非常快。這些工具可以根據用戶的提示生成各種風格和畫質的影片。
例如，有一個推特X貼文展示了多個AI影片生成模型的比較，這些模型都被要求生成一隻在叢林中的老虎。每個模型都展現出不同的風格和畫質，展示了這項技術的多樣性和潛力。
目前的Veo 2模型被認為是最先進的技術，能夠生成相當高畫質的影片。這些工具的快速發展意味著未來可能會有更多創意和商業應用的出現。
🧠 ChatGPT記憶功能：讓模型更懂你
ChatGPT的記憶功能是一項非常實用的創新。這項功能允許模型在多次對話之間保存訊息，這樣每次互動時，模型都能更好地理解用戶的需求和偏好。
用戶可以要求模型記住某些訊息，例如個人偏好或歷史對話內容。這樣的設計使得模型在與用戶互動時更加個性化，能夠提供更具針對性的建議和回答。
這項功能的實現過程中，模型會在記憶庫中更新用戶的偏好訊息。雖然每次新對話的開始都是空白的，但用戶可以隨時要求模型記住特定的內容，這讓整體體驗更加流暢。
📝 自定義指令：個性化你的ChatGPT
用戶可以通過設置自定義指令來調整ChatGPT的反應方式，這樣模型就能根據用戶的需求進行調整。例如，用戶可以要求模型以更正式或非正式的語氣進行交流，或者強調某些特定的主題。
這種自定義的靈活性使得用戶可以根據自己的需求來優化與模型的互動，無論是學習新語言還是進行專業交流。
🌍 自定義GPTs：為語言學習量身定制
自定義GPTs是一個非常有用的功能，特別是對於語言學習者來說。用戶可以創建個性化的模型來提取詞彙或進行翻譯，這樣的設計能夠大大提高學習效率。
例如，Andrej創建了一個“韓語詞彙提取器”，只需提供一句話，模型便會提取出相應的詞彙並以字典的形式顯示，這樣我便可以輕鬆地將其複製到學習工具中。
這種自定義的靈活性使得用戶能夠根據自己的需求來優化與模型的互動，無論是學習新語言還是進行專業交流。
🔄 總結
隨著大型語言模型的快速發展，這些工具的應用範圍不斷擴大。無論是圖像生成、影片輸入還是記憶功能和自定義指令，這些技術都在不斷提升我們的工作和生活效率。
用戶可以根據自己的需求選擇合適的工具，並充分利用這些功能來提升日常交流、學習和創作的體驗。這些功能的實現，無疑讓我們的生活變得更加便利和高效。
希望這篇，將Andrej – how I use LLM 這部影片整理的重點，能讓你對LLM的運作有進一步的了解