文章標題的翻譯
代理計劃與世界知識模型
重點摘要
本研究介紹了一種參數化的世界知識模型（WKM），旨在增強代理模型在執行互動計劃任務中的效能。傳統的大型語言模型（LLMs）在執行計劃任務時，由於對實際物理世界的理解不佳，常常出現盲目的試錯和幻覺性行為。本研究通過模仿人類的心智世界知識模型，提供全球任務知識以指導全局計劃，並在任務過程中維持本地動態知識以幫助局部計劃。實驗結果顯示，在三個複雜的現實世界模擬數據集上，與多個強基線方法相比，該方法的性能更優越。
主要觀點
世界知識模型（WKM）可以有效減少代理模型在計劃過程中的盲目試錯和幻覺性行為。
生成的任務知識可以更好地適應未見過的任務，並且弱WKM可以指導強代理模型的計劃。
統一的WKM訓練具有進一步發展的潛力。
關鍵概念
世界知識模型（World Knowledge Model, WKM）：模仿人類心智模型，提供全局任務知識和本地動態知識，以改進代理模型的計劃能力。
大型語言模型（Large Language Models, LLMs）：用於自然語言處理任務的高性能模型，在本文中用於代理計劃。
盲目試錯（Brainless Trial-and-Error）：代理模型在計劃過程中沒有有效指導下的無意識探索。
幻覺性行為（Hallucinatory Actions）：代理模型基於錯誤理解生成的不可行或錯誤的行動。
專家軌跡（Expert Trajectories）：由專家或經驗代理生成的正確行動序列，用於訓練模型。
部分可觀測馬爾可夫決策過程（Partially Observable Markov Decision Process, POMDP）：描述代理與環境交互的模型，包含狀態、行動、觀察等要素。
延伸概念
狀態空間（State Space, S）：代理模型在任務中可能處於的所有狀態的集合。
觀察空間（Observation Space, O）：代理模型可以觀察到的所有信息的集合。
行動空間（Action Space, A）：代理模型可以採取的所有行動的集合。
轉移函數（Transition Function, T）：描述狀態和行動之間轉換關係的函數。
kNN檢索（k-Nearest Neighbors Retrieval）：基於狀態知識進行最近鄰檢索，以避免幻覺性行為。
演算法的詳細說明
本研究提出的WKM演算法包括以下步驟：
任務知識綜合：代理模型從專家和探索軌跡中自我綜合任務知識，避免盲目試錯。
狀態知識總結：代理模型基於歷史行為自我總結每一步的狀態知識，並構建狀態知識庫。
模型訓練：將生成的世界知識整合到專家軌跡中，並重新訓練代理模型以適應任務知識。
計劃階段：在每一步計劃中，使用WKM提供的任務知識和狀態知識庫進行檢索，並結合先前行動和代理模型的概率進行加權預測，以生成下一步行動。
生活化例子
假設您在房間內，任務是將一顆乾淨的雞蛋放進微波爐。任務知識可能包括「雞蛋可能在冰箱裡」，狀態知識可能是「您已找到並取出雞蛋，接下來應清洗雞蛋並放入微波爐」。通過這些知識，代理模型可以有效地完成任務，避免盲目嘗試和產生錯誤行動。
這些步驟和概念可以幫助讀者理解文章提出的方法和其實際應用。
Q & A
我有以下問題，請根據我上傳的 pdf 內容來回答，如果你不清楚請不要胡亂回覆，直接說不知道就好。
1. 心智世界知識模型 和所謂傳統的 LLMs 有什麼不一樣？ 它怎麼訓練或者建立出來的？
2. 所謂心智世界知識模型，是如何模仿人類的心智世界知識？
根據上傳的PDF內容，以下是對你的問題的回答：
1. 心智世界知識模型和傳統的LLMs有什麼不一樣？它怎麼訓練或者建立出來的？
區別：
傳統的LLMs：大多數當前的LLMs是自回歸模型，基於下一個詞的預測進行訓練，缺乏對實際物理世界的深入理解。因此，它們在執行計劃任務時，可能會出現盲目試錯和產生幻覺性行動的問題。
心智世界知識模型（World Knowledge Model, WKM）：模仿人類的心智模型，提供全局任務知識以指導代理模型的全局計劃，並在任務過程中維持本地動態知識以幫助局部計劃。
訓練和建立過程：
任務知識綜合（Task Knowledge Synthesis）：
經驗代理探索（Experienced Agent Exploration）：首先使用專家軌跡訓練一個基礎語言模型，生成經驗代理，然後這個代理再次探索訓練集任務，生成被拒絕的軌跡（失敗的嘗試）。
自我知識綜合（Self Knowledge Synthesis）：代理模型將專家軌跡和經驗代理生成的被拒絕軌跡進行比較，自我綜合出任務知識。
狀態知識總結（State Knowledge Summarization）：
在每一步計劃中，代理模型基於專家軌跡自我總結狀態知識，形成動作-狀態-動作三元組，構建狀態知識庫。
模型訓練（Model Training）：
將生成的世界知識整合到專家軌跡中，重新訓練代理模型以適應任務知識。
使用LoRA（低秩適應）技術，共享相同的模型架構來訓練代理模型和知識模型。
2. 心智世界知識模型是如何模仿人類的心智世界知識？
心智世界知識模型模仿人類心智世界知識的方法如下：
全局任務知識（Global Task Knowledge）：
在執行任務之前，代理模型會首先在心中簡要演練整個過程，使用其豐富的先驗知識。這類知識被稱為全局任務知識或環境/任務常識。
例如，執行將雞蛋放入微波爐的任務，代理模型會提前知道雞蛋最有可能在冰箱裡，並且任務流程包括取出雞蛋、清洗雞蛋等。
本地狀態知識（Local State Knowledge）：
在任務過程中，心智世界知識模型會不斷維持本地動態狀態知識，代表人類對當前世界狀態的認知。
例如，在找到並取出雞蛋後，代理模型會更新其狀態知識，記錄當前已經找到雞蛋，接下來應該清洗並放入微波爐。
動作約束（Action Constraints）：
在每一步計劃中，使用生成的狀態知識作為查詢，從預先構建的狀態知識庫中進行最近鄰檢索，結合先前行動、下一步行動的概率以及代理模型的概率進行加權預測，以生成下一步行動。
這樣，心智世界知識模型通過模仿人類在任務執行前的全局規劃和任務進行中的動態更新，幫助代理模型更有效地進行計劃，避免盲目試錯和幻覺性行動。