論文の概要: Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?

• arxiv url: http://arxiv.org/abs/2410.08292v1
• Date: Thu, 10 Oct 2024 18:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:16:13.233775
• Title: Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?
• Title（参考訳）: ループ変換器はインコンテキスト学習のための多段階グラディエント Descent を実現することができるか?
• Authors: Khashayar Gatmiry, Nikunj Saunshi, Sashank J. Reddi, Stefanie Jegelka, Sanjiv Kumar,
• Abstract要約: 収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
• 参考スコア（独自算出の注目度）: 69.4145579827826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable capability of Transformers to do reasoning and few-shot learning, without any fine-tuning, is widely conjectured to stem from their ability to implicitly simulate a multi-step algorithms -- such as gradient descent -- with their weights in a single forward pass. Recently, there has been progress in understanding this complex phenomenon from an expressivity point of view, by demonstrating that Transformers can express such multi-step algorithms. However, our knowledge about the more fundamental aspect of its learnability, beyond single layer models, is very limited. In particular, can training Transformers enable convergence to algorithmic solutions? In this work we resolve this for in-context linear regression with linear looped Transformers -- a multi-layer model with weight sharing that is conjectured to have an inductive bias to learn fix-point iterative algorithms. More specifically, for this setting we show that the global minimizer of the population training loss implements multi-step preconditioned gradient descent, with a preconditioner that adapts to the data distribution. Furthermore, we show a fast convergence for gradient flow on the regression loss, despite the non-convexity of the landscape, by proving a novel gradient dominance condition. To our knowledge, this is the first theoretical analysis for multi-layer Transformer in this setting. We further validate our theoretical findings through synthetic experiments.
• Abstract（参考訳）: トランスフォーマーが推論や数発の学習を微調整なしで行うという驚くべき能力は、勾配降下のような多段階アルゴリズムを暗黙的に1回の前方通過でシミュレートする能力に由来すると広く推測されている。 近年、トランスフォーマーがそのような多段階のアルゴリズムを表現できることを実証することで、表現性の観点からこの複雑な現象を理解することが進歩している。 しかしながら、学習可能性のより基本的な側面に関する私たちの知識は、単層モデルを超えて、非常に限られています。 特に、トランスフォーマーのトレーニングはアルゴリズム解への収束を可能にするだろうか? 本研究では、重み共有を伴う多層モデルであり、固定点反復アルゴリズムを学習するための帰納バイアスを持つと推測される。 より具体的には、人口訓練損失のグローバル最小化は、データ分布に適応するプレコンディショナーを用いて、多段階の事前条件勾配降下を実装していることを示す。 さらに, 地形の非凸性にも拘わらず, 新しい勾配支配条件を示すことにより, 回帰損失に対する勾配流の高速収束を示す。 我々の知る限り、これは多層トランスの理論的解析としては初めてである。 我々はさらに, 合成実験により理論的知見を検証した。

関連論文リスト

• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent [26.764893400499354]
  線形ループ変換器は、コンテキスト内学習において、多段階勾配勾配を効率よく実装できることを示す。 この結果から,入力データが一定条件数である場合,$n = O(d)$であれば,線形ループ変換器の誤差は小さくなることがわかった。
  論文  参考訳（メタデータ） (2024-10-15T04:44:23Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Linear Transformers are Versatile In-Context Learners [19.988368693379087]
  線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。 また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。 ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
  論文  参考訳（メタデータ） (2024-02-21T23:45:57Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Transformers learn to implement preconditioned gradient descent for in-context learning [41.74394657009037]
  いくつかの最近の研究は、変圧器が勾配降下のようなアルゴリズムを実装できることを実証している。 トランスフォーマーは、ランダムな問題インスタンスをトレーニングすることで、そのようなアルゴリズムの実装を学べますか? 注意層が$L$の変圧器では,事前条件付き勾配勾配の反復として$L$を具現化する訓練対象の臨界点が証明される。
  論文  参考訳（メタデータ） (2023-06-01T02:35:57Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。