論文の概要: Towards a Theoretical Understanding of the 'Reversal Curse' via Training Dynamics

• arxiv url: http://arxiv.org/abs/2405.04669v1
• Date: Tue, 7 May 2024 21:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 18:41:08.890352
• Title: Towards a Theoretical Understanding of the 'Reversal Curse' via Training Dynamics
• Title（参考訳）: トレーニングダイナミクスによる「リバーサルカース」の理論的理解に向けて
• Authors: Hanlin Zhu, Baihe Huang, Shaolun Zhang, Michael Jordan, Jiantao Jiao, Yuandong Tian, Stuart Russell,
• Abstract要約: 自動回帰型大言語モデル(LLM)は、多くの複雑な推論タスクを解くのに優れた能力を示す。 LLMは、'A is B'でトレーニングされた場合、推論中に'B is A'を直接結論付けることができません。 2つの自己回帰モデルに対する勾配降下のトレーニング力学を用いて、理論的に逆の呪いを解析する。
• 参考スコア（独自算出の注目度）: 45.69328374321502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auto-regressive large language models (LLMs) show impressive capacities to solve many complex reasoning tasks while struggling with some simple logical reasoning tasks such as inverse search: when trained on ''A is B'', LLM fails to directly conclude ''B is A'' during inference, which is known as the ''reversal curse'' (Berglund et al., 2023). In this paper, we theoretically analyze the reversal curse via the training dynamics of (stochastic) gradient descent for two auto-regressive models: (1) a bilinear model that can be viewed as a simplification of a one-layer transformer; (2) one-layer transformers using the framework of Tian et al. (2023a). Our analysis reveals a core reason why the reversal curse happens: the (effective) weights of both auto-regressive models show asymmetry, i.e., the increase of weights from a token $A$ to token $B$ during training does not necessarily cause the increase of the weights from $B$ to $A$. Moreover, our analysis can be naturally applied to other logical reasoning tasks such as chain-of-thought (COT) (Wei et al., 2022b). We show the necessity of COT, i.e., a model trained on ''$A \to B$'' and ''$B \to C$'' fails to directly conclude ''$A \to C$'' without COT (also empirically observed by Allen-Zhu and Li (2023)), for one-layer transformers via training dynamics, which provides a new perspective different from previous work (Feng et al., 2024) that focuses on expressivity. Finally, we also conduct experiments to validate our theory on multi-layer transformers under different settings.
• Abstract（参考訳）: 自己回帰型大規模言語モデル(LLM)は、逆探索のような単純な論理的推論タスクに苦労しながら、多くの複雑な推論タスクを解くのに顕著な能力を示す: 'A is B'' で訓練された場合、LLMは推論中に直接 'B is A' を結論付けることができず、これは'Reversal curse' として知られている(Berglund et al , 2023)。 本稿では, 1層変圧器を単純化した双線形モデル, 2) Tian et al (2023a) の枠組みを用いた一層変圧器を理論的に解析する。 両自己回帰モデルの(効果的な)重みは非対称性を示す、すなわち、トレーニング中にトークン$A$からトークン$B$への重みの増加は、必ずしも重みが$B$から$A$に増加するとは限らない。 さらに、我々の分析は、チェイン・オブ・シント(COT)のような他の論理的推論タスク(Wei et al , 2022b)にも自然に適用できる。 我々は、COT(Allen-Zhu と Li (2023) によって実証的に観察される)を使わずに、COT が ''A \to B$' と ''B \to C$'' に基づいて訓練されたモデルの必要性を示す。 最後に,異なる条件下での多層変圧器の理論の検証実験を行った。

関連論文リスト

• On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability [34.43255978863601]
  いくつかの説では、トランスフォーマーはオートレアトレーニング中にmesa-optimizerを学習する。 データモーメントに関する強い仮定は、学習されたメザ最適化器が実行可能な十分な必要条件であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T05:41:06Z)
• Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification [7.869708570399577]
  条件付き期待値 $mathbbE[Y|X]$ と条件付き分散 Var$(Y|X)$ の両方を予測する双目的予測タスクを考える。 理論的には、トレーニングされたトランスフォーマーがベイズ最適付近に到達し、トレーニング分布の情報の利用が示唆される。
  論文  参考訳（メタデータ） (2024-05-24T00:08:55Z)
• Toward a Theory of Tokenization in LLMs [26.516041872337887]
  本稿では, 簡単なデータ生成プロセスにおいて, 変圧器の挙動を研究することによって, 理論的観点からトークン化について検討する。 変換器によって学習された最も単純なユニグラムモデルでさえ、$ktextth$-order Markovソースから引き出されたシーケンスの確率を最適にモデル化できることを示す。
  論文  参考訳（メタデータ） (2024-04-12T09:01:14Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• Foundation Model's Embedded Representations May Detect Distribution Shift [0.0]
  本稿では,Sentiment140データセットを用いたトランスファー学習のケーススタディを提案する。 自動ラベル付きトレーニングセットの$P$から、Sentiment140の手作業によるキュレートされたテストセットのさまざまな表現を符号化した事前トレーニングベースモデルが多数存在することを示す。 我々は、$P$のトレーニングと$M$のパフォーマンスの測定は一般化のバイアスのある尺度であると主張している。
  論文  参考訳（メタデータ） (2023-10-20T22:20:50Z)
• Small-scale proxies for large-scale Transformer training instabilities [69.36381318171338]
  我々は、小規模でトレーニングの安定性と不安定性を再現し、研究する方法を模索する。 学習速度とスケールによる損失の関係を計測することにより,これらの不安定性は,学習率の高いトレーニングにおいて,小さなモデルにも現れることを示す。 ウォームアップ,ウェイト崩壊,および$mu$Paramなどの手法を用いて,学習速度変化の桁数で同様の損失を被る小さなモデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-25T17:48:51Z)
• Transformers Learn Shortcuts to Automata [52.015990420075944]
  低深度変換器は任意の有限状態オートマトンを計算できる。 我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。 さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:45:48Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。