論文の概要: How Well Can Transformers Emulate In-context Newton's Method?

• arxiv url: http://arxiv.org/abs/2403.03183v1
• Date: Tue, 5 Mar 2024 18:20:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 13:53:17.910965
• Title: How Well Can Transformers Emulate In-context Newton's Method?
• Title（参考訳）: トランスフォーマーはインコンテキストニュートンのメソッドをどの程度エミュレートできるか?
• Authors: Angeliki Giannou, Liu Yang, Tianhao Wang, Dimitris Papailiopoulos, Jason D. Lee
• Abstract要約: 線形回帰以外の高次最適化手法をトランスフォーマーで行うことができるかどうかを考察する。 2層のみの行列逆転に対するニュートンの反復の単一ステップの実装において、線形注意のみの変換器が可能であることを実証する。
• 参考スコア（独自算出の注目度）: 46.08521978754298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models have demonstrated remarkable in-context learning capabilities, prompting extensive research into its underlying mechanisms. Recent studies have suggested that Transformers can implement first-order optimization algorithms for in-context learning and even second order ones for the case of linear regression. In this work, we study whether Transformers can perform higher order optimization methods, beyond the case of linear regression. We establish that linear attention Transformers with ReLU layers can approximate second order optimization algorithms for the task of logistic regression and achieve $\epsilon$ error with only a logarithmic to the error more layers. As a by-product we demonstrate the ability of even linear attention-only Transformers in implementing a single step of Newton's iteration for matrix inversion with merely two layers. These results suggest the ability of the Transformer architecture to implement complex algorithms, beyond gradient descent.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、その基盤となるメカニズムを広範囲に研究する上で、顕著なコンテキスト内学習能力を示している。 近年の研究では、トランスフォーマーは文脈内学習のための一階最適化アルゴリズムを実装できることが示唆されている。 本研究では,線形回帰以外の高次最適化手法をトランスフォーマーで実現できるかを検討する。 我々は,ReLU層を有する線形アテンション変換器が,ロジスティック回帰処理の2次最適化アルゴリズムを近似し,エラーをより多くの層に対数化するだけで$\epsilon$エラーを達成できることを確立する。 副産物として、たった2つの層を持つ行列逆転に対するニュートンの反復の単一ステップを実装する際に、線形注意のみの変換器の能力を示す。 これらの結果から,Transformerアーキテクチャが勾配勾配を超える複雑なアルゴリズムを実装できることが示唆された。

関連論文リスト

• Graph Transformers Dream of Electric Flow [72.06286909236827]
  グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。 そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
  論文  参考訳（メタデータ） (2024-10-22T05:11:45Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Linear Transformers are Versatile In-Context Learners [19.988368693379087]
  線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。 また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。 ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
  論文  参考訳（メタデータ） (2024-02-21T23:45:57Z)
• Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression [23.944430707096103]
  変換器は、文脈内線形回帰の2次最適化法を近似することを学習する。 文脈内線形回帰では、トランスフォーマーは反復ニュートン法と同様の収束率を共有し、どちらもGDよりも指数関数的に高速である。 また、Transformerは、Gradient Descentが苦戦するがIterative Newtonが成功するような環境で、不調なデータを使ってコンテキストで学習できることを示す。
  論文  参考訳（メタデータ） (2023-10-26T01:08:47Z)
• Linear attention is (maybe) all you need (to understand transformer optimization) [55.81555204646486]
  我々は、単純だが正準化された浅部変圧器モデルの研究により、変圧器の微妙さの理解に向けて前進する。 最も重要なことは、線形化モデルがトランスフォーマーのトレーニング力学のいくつかの顕著な側面を再現できることである。
  論文  参考訳（メタデータ） (2023-10-02T10:48:42Z)
• Transformers learn to implement preconditioned gradient descent for in-context learning [41.74394657009037]
  いくつかの最近の研究は、変圧器が勾配降下のようなアルゴリズムを実装できることを実証している。 トランスフォーマーは、ランダムな問題インスタンスをトレーニングすることで、そのようなアルゴリズムの実装を学べますか? 注意層が$L$の変圧器では,事前条件付き勾配勾配の反復として$L$を具現化する訓練対象の臨界点が証明される。
  論文  参考訳（メタデータ） (2023-06-01T02:35:57Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。