論文の概要: Towards a Theoretical Understanding of the 'Reversal Curse' via Training Dynamics

• arxiv url: http://arxiv.org/abs/2405.04669v2
• Date: Mon, 28 Oct 2024 05:05:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:44.942326
• Title: Towards a Theoretical Understanding of the 'Reversal Curse' via Training Dynamics
• Title（参考訳）: トレーニングダイナミクスによる「リバーサルカース」の理論的理解に向けて
• Authors: Hanlin Zhu, Baihe Huang, Shaolun Zhang, Michael Jordan, Jiantao Jiao, Yuandong Tian, Stuart Russell,
• Abstract要約: 自動回帰型大言語モデル(LLM)は、多くの複雑な推論タスクを解くのに優れた能力を示す。 LLM は、2つの文が意味的に同一であっても、推論中に '$B get A$' と結論付けることができない。 2つの自己回帰モデルに対する勾配降下のトレーニング力学を用いて、理論的に逆の呪いを解析する。
• 参考スコア（独自算出の注目度）: 45.69328374321502
• License:
• Abstract: Auto-regressive large language models (LLMs) show impressive capacities to solve many complex reasoning tasks while struggling with some simple logical reasoning tasks such as inverse search: when trained on '$A \to B$' (e.g., 'Tom is the parent of John'), LLM fails to directly conclude '$B \gets A$' (e.g., 'John is the child of Tom') during inference even if the two sentences are semantically identical, which is known as the 'reversal curse'. In this paper, we theoretically analyze the reversal curse via the training dynamics of (stochastic) gradient descent for two auto-regressive models: (1) a bilinear model that can be viewed as a simplification of a one-layer transformer; (2) one-layer transformers under certain assumptions. Our analysis reveals that for both models, the reversal curse is a consequence of the (effective) model weights 'asymmetry', i.e., the increase of weights from a token $A$ to token $B$ during training does not necessarily cause the increase of the weights from $B$ to $A$, which is caused by the training dynamics under certain choice of loss function and the optimization space of model parameters. Moreover, our analysis can be naturally applied to other logical reasoning tasks such as chain-of-thought (COT), which provides a new perspective different from previous work that focuses on expressivity. Finally, we conduct experiments to validate our theory on multi-layer transformers under different settings. Our code is available at https://github.com/marlo-z/reversal_curse_analysis/.
• Abstract（参考訳）: 例えば '$A \to B$' (e g , 'Tom is the parent of John') で訓練された場合、LLMは推論中に '$B \gets A$' (e g , 'John is the child of Tom')を直接結論しない。 本稿では,(1)一層変圧器の単純化とみなすことができる双線形モデル,(2)一層変圧器を前提とした2つの自己回帰モデルに対する(確率的な)勾配降下のトレーニング力学を用いて,理論的に逆の呪いを解析する。 両モデルにおいて、逆の呪いは(有効)モデルの重み'非対称性'の結果であり、すなわち、トレーニング中のトークン$A$からトークン$B$への重みの増大は必ずしも、損失関数の特定の選択によるトレーニングダイナミクスとモデルパラメータの最適化空間によって引き起こされる、B$から$A$への重みの増大を必ずしも引き起こさない。 さらに、我々の分析は、表現力に焦点をあてる以前の研究とは異なる新たな視点を提供する、チェイン・オブ・シント(COT)のような他の論理的推論タスクにも自然に適用できる。 最後に,異なる条件下での多層変圧器理論の検証実験を行った。 私たちのコードはhttps://github.com/marlo-z/reversal_curse_analysis/で利用可能です。

関連論文リスト

• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification [7.869708570399577]
  条件付き期待値 $mathbbE[Y|X]$ と条件付き分散 Var$(Y|X)$ の両方を予測する双目的予測タスクを考える。 理論的には、トレーニングされたトランスフォーマーがベイズ最適付近に到達し、トレーニング分布の情報の利用が示唆される。
  論文  参考訳（メタデータ） (2024-05-24T00:08:55Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• Local Convergence of Approximate Newton Method for Two Layer Nonlinear Regression [21.849997443967705]
  2層回帰問題は先行研究でよく研究されている。 第1の層はReLUユニットで活性化され、第2の層はソフトマックスユニットで活性化される。 ヘッセン行列の損失関数は正定値であり、ある仮定の下でリプシッツが連続であることを証明する。
  論文  参考訳（メタデータ） (2023-11-26T19:19:02Z)
• A Unified Scheme of ResNet and Softmax [8.556540804058203]
  回帰問題を理論的に解析する: $| langle exp(Ax) + A x, bf 1_n rangle-1 ( exp(Ax) + Ax ) この回帰問題は、ソフトマックス回帰とResNetを組み合わせた統一的なスキームである。
  論文  参考訳（メタデータ） (2023-09-23T21:41:01Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• Gradient-based Counterfactual Explanations using Tractable Probabilistic Models [20.770168600755877]
  ファクトファクトの例は、機械学習モデルに魅力的な説明のクラスである。 現在のアプローチは主に複雑な最適化によってこの課題を解決する。 本稿では,2つの勾配計算のみを用いて,これらの問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-05-16T16:05:43Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。