論文の概要: Language Models use Lookbacks to Track Beliefs

• arxiv url: http://arxiv.org/abs/2505.14685v1
• Date: Tue, 20 May 2025 17:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.674988
• Title: Language Models use Lookbacks to Track Beliefs
• Title（参考訳）: 言語モデルでは、参照を使って信念を追跡する
• Authors: Nikhil Prakash, Natalie Shapira, Arnab Sen Sharma, Christoph Riedl, Yonatan Belinkov, Tamar Rott Shaham, David Bau, Atticus Geiger,
• Abstract要約: 我々は,Llama-3-70B-Instructが文字の信念を因果媒介と抽象化を用いて推論する能力について分析する。 我々の研究は、LMの信念追跡機構に関する洞察を提供し、LMにおけるToM推論のリバースエンジニアリングに向けた一歩を踏み出した。
• 参考スコア（独自算出の注目度）: 51.92689607136242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do language models (LMs) represent characters' beliefs, especially when those beliefs may differ from reality? This question lies at the heart of understanding the Theory of Mind (ToM) capabilities of LMs. We analyze Llama-3-70B-Instruct's ability to reason about characters' beliefs using causal mediation and abstraction. We construct a dataset that consists of simple stories where two characters each separately change the state of two objects, potentially unaware of each other's actions. Our investigation uncovered a pervasive algorithmic pattern that we call a lookback mechanism, which enables the LM to recall important information when it becomes necessary. The LM binds each character-object-state triple together by co-locating reference information about them, represented as their Ordering IDs (OIs) in low rank subspaces of the state token's residual stream. When asked about a character's beliefs regarding the state of an object, the binding lookback retrieves the corresponding state OI and then an answer lookback retrieves the state token. When we introduce text specifying that one character is (not) visible to the other, we find that the LM first generates a visibility ID encoding the relation between the observing and the observed character OIs. In a visibility lookback, this ID is used to retrieve information about the observed character and update the observing character's beliefs. Our work provides insights into the LM's belief tracking mechanisms, taking a step toward reverse-engineering ToM reasoning in LMs.
• Abstract（参考訳）: 言語モデル(LM)は文字の信念をどう表現するか。 この質問は、LMの心の理論(ToM)能力を理解する中心にある。 我々は,Llama-3-70B-Instructが文字の信念を因果媒介と抽象化を用いて推論する能力について分析する。 2つの文字がそれぞれ別々に2つのオブジェクトの状態を変更するような単純なストーリーで構成されたデータセットを構築します。 そこで本研究では,見返り機構と呼ばれる広汎なアルゴリズムパターンを探索し,必要なときに重要な情報を思い出せるようにした。 LMは、状態トークンの残留ストリームの低階部分空間において、それらの順序ID(OIs)として表される参照情報を共配置することで、各文字オブジェクト状態トリプルを結合する。 オブジェクトの状態に関する文字の信念について尋ねると、バインディングルックバックは対応する状態OIを検索し、回答ルックバックは状態トークンを検索する。 一方の文字がもう一方の文字に可視であることを示すテキストを導入すると、LMはまず観察文字と観測文字OIsの関係を符号化した可視IDを生成する。 視認的な見返りとして、このIDを使用して観察された文字に関する情報を取得し、観察された文字の信念を更新する。 我々の研究は、LMの信念追跡機構に関する洞察を提供し、LMにおけるToM推論のリバースエンジニアリングに向けた一歩を踏み出した。

関連論文リスト

• (How) Do Language Models Track State? [50.516691979518164]
  トランスフォーマー言語モデル(LM)は、進化している世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 順列を構成するために訓練された、あるいは微調整されたLMにおける状態追跡について検討した。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。
  論文  参考訳（メタデータ） (2025-03-04T18:31:02Z)
• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• Leveraging VLM-Based Pipelines to Annotate 3D Objects [68.51034848207355]
  本稿では,VLMの応答に影響を与える視点などの要因を疎外する代替アルゴリズムを提案する。 テキストのみの応答をマージする代わりに、VLMの合同画像テキストの可能性を利用する。 VLMベースのパイプラインを使って764Kデータセットから764Kオブジェクトの信頼性の高いアノテーションを生成する方法を示す。
  論文  参考訳（メタデータ） (2023-11-29T17:54:22Z)
• How do Language Models Bind Entities in Context? [31.529253469951062]
  言語モデル(LM)は、エンティティを属性にバインドし、コンテキスト内情報を正しく使用する必要がある。 我々はバインディングIDのメカニズムを同定し、バインディング問題を解くための一般的なメカニズムを示す。 本研究は,テキスト上での記号的知識を表現するためのLMの解釈可能な戦略を明らかにする。
  論文  参考訳（メタデータ） (2023-10-26T07:10:31Z)
• Dissecting Recall of Factual Associations in Auto-Regressive Language Models [41.71388509750695]
  トランスフォーマーベースの言語モデル(LM)は、それらのパラメータの事実的知識を捉えることで知られている。 モデルが対象と関係に関する情報を集約して正しい属性を予測する方法について検討する。 本研究は, 事実関係の保存・抽出方法の総合的な考察をLMに導入した。
  論文  参考訳（メタデータ） (2023-04-28T11:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。