論文の概要: (How) Do Language Models Track State?

• arxiv url: http://arxiv.org/abs/2503.02854v1
• Date: Tue, 04 Mar 2025 18:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:24.488764
• Title: (How) Do Language Models Track State?
• Title（参考訳）: ()言語モデルはどうやって状態を追跡するのか?
• Authors: Belinda Z. Li, Zifan Carl Guo, Jacob Andreas,
• Abstract要約: トランスフォーマー言語モデル(LM)は、進化している世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 順列を構成するために訓練された、あるいは微調整されたLMにおける状態追跡について検討した。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。
• 参考スコア（独自算出の注目度）: 50.516691979518164
• License:
• Abstract: Transformer language models (LMs) exhibit behaviors -- from storytelling to code generation -- that appear to require tracking the unobserved state of an evolving world. How do they do so? We study state tracking in LMs trained or fine-tuned to compose permutations (i.e., to compute the order of a set of objects after a sequence of swaps). Despite the simple algebraic structure of this problem, many other tasks (e.g., simulation of finite automata and evaluation of boolean expressions) can be reduced to permutation composition, making it a natural model for state tracking in general. We show that LMs consistently learn one of two state tracking mechanisms for this task. The first closely resembles the "associative scan" construction used in recent theoretical work by Liu et al. (2023) and Merrill et al. (2024). The second uses an easy-to-compute feature (permutation parity) to partially prune the space of outputs, then refines this with an associative scan. The two mechanisms exhibit markedly different robustness properties, and we show how to steer LMs toward one or the other with intermediate training tasks that encourage or suppress the heuristics. Our results demonstrate that transformer LMs, whether pretrained or fine-tuned, can learn to implement efficient and interpretable state tracking mechanisms, and the emergence of these mechanisms can be predicted and controlled.
• Abstract（参考訳）: トランスフォーマー言語モデル(LM)は、ストーリーテリングからコード生成まで、進化する世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 どうやってそうするのですか。 我々は、置換を構成するために訓練された、あるいは微調整されたLMにおける状態追跡(すなわち、スワップ列の後にオブジェクトの集合の順序を計算する)について研究する。 この問題の単純な代数的構造にもかかわらず、他の多くのタスク(例えば有限オートマタのシミュレーションやブール式の評価)は置換合成に還元され、状態追跡の自然なモデルとなる。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。 1つは、Lou et al (2023) と Merrill et al (2024) の最近の理論研究で使われている「連想スキャン」構造によく似ている。 2つ目は、容易に計算できる機能(置換パリティ)を使って出力の空間を部分的に引き起こし、連想スキャンでこれを洗練する。 これら2つのメカニズムは明らかに異なるロバスト性を示し, ヒューリスティックスを促進または抑制する中間的トレーニングタスクを用いて, LMを互いに操る方法を示す。 以上の結果から, トランスフォーマーLMは, 事前訓練や微調整でも, 効率的かつ解釈可能な状態追跡機構の実装を学べること, これらのメカニズムの出現を予測・制御できることが示唆された。

関連論文リスト

• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
  CoT推論による現代言語モデル(LM)の性能向上 LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T10:59:02Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• From system models to class models: An in-context learning paradigm [0.0]
  本稿では,1段階の予測と複数段階のシミュレーションという2つの主要な課題に対処する,システム識別のための新しいパラダイムを提案する。 動的システムのクラスを表すメタモデルを学ぶ。 一段階の予測では、GPTのようなデコーダのみのアーキテクチャを使用し、シミュレーション問題ではエンコーダ-デコーダ構造を用いる。
  論文  参考訳（メタデータ） (2023-08-25T13:50:17Z)
• Transformers as Algorithms: Generalization and Implicit Model Selection in In-context Learning [23.677503557659705]
  In-context Learning (ICL) は、トランスフォーマーモデルが一連の例で動作し、オンザフライで推論を行うプロンプトの一種である。 我々は,このトランスモデルを学習アルゴリズムとして扱い,推論時別のターゲットアルゴリズムを実装するためのトレーニングを通じて専門化することができる。 変換器は適応学習アルゴリズムとして機能し、異なる仮説クラス間でモデル選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-17T18:31:12Z)
• Unsupervised Learning of Equivariant Structure from Sequences [30.974508897223124]
  我々は,少なくとも3つの長さの時系列から対称性を学習するための教師なしのフレームワークを提案する。 当社のフレームワークでは,データセットの非絡み合い構造が副産物として自然に現れることを実証します。
  論文  参考訳（メタデータ） (2022-10-12T07:29:18Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。