論文の概要: (How) Do Language Models Track State?

• arxiv url: http://arxiv.org/abs/2503.02854v2
• Date: Tue, 11 Mar 2025 15:36:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 13:59:51.741404
• Title: (How) Do Language Models Track State?
• Title（参考訳）: ()言語モデルはどうやって状態を追跡するのか?
• Authors: Belinda Z. Li, Zifan Carl Guo, Jacob Andreas,
• Abstract要約: トランスフォーマー言語モデル(LM)は、進化している世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 順列を構成するために訓練された、あるいは微調整されたLMにおける状態追跡について検討した。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。
• 参考スコア（独自算出の注目度）: 50.516691979518164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer language models (LMs) exhibit behaviors -- from storytelling to code generation -- that appear to require tracking the unobserved state of an evolving world. How do they do so? We study state tracking in LMs trained or fine-tuned to compose permutations (i.e., to compute the order of a set of objects after a sequence of swaps). Despite the simple algebraic structure of this problem, many other tasks (e.g., simulation of finite automata and evaluation of boolean expressions) can be reduced to permutation composition, making it a natural model for state tracking in general. We show that LMs consistently learn one of two state tracking mechanisms for this task. The first closely resembles the "associative scan" construction used in recent theoretical work by Liu et al. (2023) and Merrill et al. (2024). The second uses an easy-to-compute feature (permutation parity) to partially prune the space of outputs, then refines this with an associative scan. The two mechanisms exhibit markedly different robustness properties, and we show how to steer LMs toward one or the other with intermediate training tasks that encourage or suppress the heuristics. Our results demonstrate that transformer LMs, whether pretrained or fine-tuned, can learn to implement efficient and interpretable state tracking mechanisms, and the emergence of these mechanisms can be predicted and controlled.
• Abstract（参考訳）: トランスフォーマー言語モデル(LM)は、ストーリーテリングからコード生成まで、進化する世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 どうやってそうするのですか。 我々は、置換を構成するために訓練された、あるいは微調整されたLMにおける状態追跡(すなわち、スワップ列の後にオブジェクトの集合の順序を計算する)について研究する。 この問題の単純な代数的構造にもかかわらず、他の多くのタスク(例えば有限オートマタのシミュレーションやブール式の評価)は置換合成に還元され、状態追跡の自然なモデルとなる。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。 1つは、Lou et al (2023) と Merrill et al (2024) の最近の理論研究で使われている「連想スキャン」構造によく似ている。 2つ目は、容易に計算できる機能(置換パリティ)を使って出力の空間を部分的に引き起こし、連想スキャンでこれを洗練する。 これら2つのメカニズムは明らかに異なるロバスト性を示し, ヒューリスティックスを促進または抑制する中間的トレーニングタスクを用いて, LMを互いに操る方法を示す。 以上の結果から, トランスフォーマーLMは, 事前訓練や微調整でも, 効率的かつ解釈可能な状態追跡機構の実装を学べること, これらのメカニズムの出現を予測・制御できることが示唆された。

関連論文リスト

• Self-Steering Language Models [113.96916935955842]
  DisCIPLは、"セルフステアリング(self-steering)"言語モデルのメソッドである。 DisCIPLはPlannerモデルを使用してタスク固有の推論プログラムを生成する。 我々の研究は、高度に並列化されたモンテカルロ推論戦略の設計空間を開く。
  論文  参考訳（メタデータ） (2025-04-09T17:54:22Z)
• Finite State Automata Inside Transformers with Chain-of-Thought: A Mechanistic Study on State Tracking [41.3496135369579]
  CoT(Chain-of-Thought)は、幅広いタスクにわたる大規模言語モデル(LLM)の性能を大幅に向上させる。 本研究では,Transformer+CoTとその変種の状態追跡機能の評価を行い,CoTの有効性を確認した。 圧縮と区別という2つの指標を提案し、各状態のニューロンセットが100%近い精度を達成することを示す。
  論文  参考訳（メタデータ） (2025-02-27T14:24:51Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Talking Heads: Understanding Inter-layer Communication in Transformer Language Models [32.2976613483151]
  2つのLMで用いられるメカニズムを分析し、1つのタスクでコンテキスト内のアイテムを選択的に抑制する。 モデルが残ストリームの低ランクな部分空間に書き込まれて,後続のレイヤで読み出される特徴を表現することが分かりました。
  論文  参考訳（メタデータ） (2024-06-13T18:12:01Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Transformers as Algorithms: Generalization and Implicit Model Selection in In-context Learning [23.677503557659705]
  In-context Learning (ICL) は、トランスフォーマーモデルが一連の例で動作し、オンザフライで推論を行うプロンプトの一種である。 我々は,このトランスモデルを学習アルゴリズムとして扱い,推論時別のターゲットアルゴリズムを実装するためのトレーニングを通じて専門化することができる。 変換器は適応学習アルゴリズムとして機能し、異なる仮説クラス間でモデル選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-17T18:31:12Z)
• Unsupervised Learning of Equivariant Structure from Sequences [30.974508897223124]
  我々は,少なくとも3つの長さの時系列から対称性を学習するための教師なしのフレームワークを提案する。 当社のフレームワークでは,データセットの非絡み合い構造が副産物として自然に現れることを実証します。
  論文  参考訳（メタデータ） (2022-10-12T07:29:18Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。