論文の概要: Memory-augmented Transformers can implement Linear First-Order Optimization Methods

• arxiv url: http://arxiv.org/abs/2410.07263v1
• Date: Tue, 8 Oct 2024 20:07:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 21:26:45.633523
• Title: Memory-augmented Transformers can implement Linear First-Order Optimization Methods
• Title（参考訳）: メモリ拡張変換器は線形一階最適化法を実装できる
• Authors: Sanchayan Dutta, Suvrit Sra,
• Abstract要約: メモリ拡張型トランスフォーマー(Memformer)は線形一階最適化手法を実装可能であることを示す。 我々は、Memformersがより高度な最適化アルゴリズムを学習できるという理論的および実証的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 32.31736522218917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that memory-augmented Transformers (Memformers) can implement linear first-order optimization methods such as conjugate gradient descent, momentum methods, and more generally, methods that linearly combine past gradients. Building on prior work that demonstrates how Transformers can simulate preconditioned gradient descent, we provide theoretical and empirical evidence that Memformers can learn more advanced optimization algorithms. Specifically, we analyze how memory registers in Memformers store suitable intermediate attention values allowing them to implement algorithms such as conjugate gradient. Our results show that Memformers can efficiently learn these methods by training on random linear regression tasks, even learning methods that outperform conjugate gradient. This work extends our knowledge about the algorithmic capabilities of Transformers, showing how they can learn complex optimization methods.
• Abstract（参考訳）: メモリ拡張変換器 (Memformers) は, 共役勾配降下法, 運動量法, より一般的には, 過去の勾配を線形に組み合わせた線形一階最適化法を実装可能であることを示す。 本研究では,トランスフォーマーが事前条件付き勾配降下をシミュレートする方法を示す先行研究に基づいて,メタフォーマーがより高度な最適化アルゴリズムを学習できるという理論的および実証的な証拠を提供する。 具体的には、メモリレジスタが適切な中間注意値を格納し、共役勾配などのアルゴリズムを実装する方法を分析する。 提案手法は, 線形回帰タスクの学習, あるいは共役勾配よりも優れる手法を学習することで, 効率よく学習できることが示唆された。 この研究は、トランスフォーマーのアルゴリズム能力に関する知識を拡張し、どのように複雑な最適化方法を学習できるかを示す。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• How Well Can Transformers Emulate In-context Newton's Method? [46.08521978754298]
  線形回帰以外の高次最適化手法をトランスフォーマーで行うことができるかどうかを考察する。 2層のみの行列逆転に対するニュートンの反復の単一ステップの実装において、線形注意のみの変換器が可能であることを実証する。
  論文  参考訳（メタデータ） (2024-03-05T18:20:10Z)
• Linear Transformers are Versatile In-Context Learners [19.988368693379087]
  線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。 また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。 ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
  論文  参考訳（メタデータ） (2024-02-21T23:45:57Z)
• Hebbian learning inspired estimation of the linear regression parameters from queries [18.374824005225186]
  本稿では,線形回帰モデルにおける回帰ベクトルを復元するために,このヘビアン学習規則のバリエーションについて検討する。 我々は,このヘビアン学習規則が,データとは独立にクエリを選択する非適応的手法よりもはるかに高速に実行可能であることを証明した。
  論文  参考訳（メタデータ） (2023-09-26T19:00:32Z)
• Adapting Step-size: A Unified Perspective to Analyze and Improve Gradient-based Methods for Adversarial Attacks [21.16546620434816]
  勾配に基づく逆学習手法の統一的理論的解釈を提供する。 これらのアルゴリズムのそれぞれが、実際には、元の勾配法の特定の再構成であることを示す。 正規勾配法に基づく適応勾配に基づくアルゴリズムの幅広いクラスを示す。
  論文  参考訳（メタデータ） (2023-01-27T06:17:51Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
  本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。 これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T00:50:30Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。