論文の概要: Toward generalizable learning of all (linear) first-order methods via memory augmented Transformers
- arxiv url: http://arxiv.org/abs/2410.07263v3
- Date: Sat, 01 Feb 2025 05:02:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-04 16:03:30.824378
- Title: Toward generalizable learning of all (linear) first-order methods via memory augmented Transformers
- Title（参考訳）: メモリ拡張変換器による全(線形)1次法の一般化学習に向けて
- Authors: Sanchayan Dutta, Suvrit Sra,
- Abstract要約: メモリ拡張トランスフォーマーは線形一階法(LFOM)のクラス全体を実装可能であることを示す。
メモリ拡張トランスフォーマーがより高度なアルゴリズムを学習できるという理論的および実証的な証拠を提供する。
- 参考スコア（独自算出の注目度）: 32.31736522218917
- License:
- Abstract: We show that memory-augmented Transformers can implement the entire class of linear first-order methods (LFOMs), a class that contains gradient descent (GD) and more advanced methods such as conjugate gradient descent (CGD), momentum methods and all other variants that linearly combine past gradients. Building on prior work that studies how Transformers simulate GD, we provide theoretical and empirical evidence that memory-augmented Transformers can learn more advanced algorithms. We then take a first step toward turning the learned algorithms into actually usable methods by developing a mixture-of-experts (MoE) approach for test-time adaptation to out-of-distribution (OOD) samples. Lastly, we show that LFOMs can themselves be treated as learnable algorithms, whose parameters can be learned from data to attain strong performance.
- Abstract（参考訳）: メモリ拡張トランスフォーマーは、線形一階法(LFOM)の全クラス、勾配勾配(GD)を含むクラス、および共役勾配(CGD)や運動量(運動量)など、過去の勾配を線形に結合するすべての変種を実装可能であることを示す。
我々は、トランスフォーマーがGDをシミュレートする方法を研究する先行研究に基づいて、メモリ拡張トランスフォーマーがより高度なアルゴリズムを学習できるという理論的および実証的な証拠を提供する。
次に、学習したアルゴリズムを実際に使える方法に変えるための第一歩として、試験時間適応のためのMix-of-experts(MoE)アプローチを、out-of-distribution(OOD)サンプルに開発する。
最後に,LFOM自体を学習可能なアルゴリズムとして扱うことができ,そのパラメータをデータから学習して高い性能が得られることを示す。
関連論文リスト
- Learning Spectral Methods by Transformers [18.869174453242383]
多層トランスフォーマーは、十分な数の事前学習インスタンスを与えられた場合、アルゴリズム自体を学習可能であることを示す。
この学習パラダイムは、コンテキスト内学習設定とは異なるものであり、人間の脳の学習手順と似ている。
論文 参考訳（メタデータ） (2025-01-02T15:53:25Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - How Well Can Transformers Emulate In-context Newton's Method? [46.08521978754298]
線形回帰以外の高次最適化手法をトランスフォーマーで行うことができるかどうかを考察する。
2層のみの行列逆転に対するニュートンの反復の単一ステップの実装において、線形注意のみの変換器が可能であることを実証する。
論文 参考訳（メタデータ） (2024-03-05T18:20:10Z) - Linear Transformers are Versatile In-Context Learners [19.988368693379087]
線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。
また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。
ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
論文 参考訳（メタデータ） (2024-02-21T23:45:57Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳（メタデータ） (2022-12-15T09:21:21Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T13:02:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。