論文の概要: Linear attention is (maybe) all you need (to understand transformer optimization)

• arxiv url: http://arxiv.org/abs/2310.01082v1
• Date: Mon, 2 Oct 2023 10:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 22:21:04.863393
• Title: Linear attention is (maybe) all you need (to understand transformer optimization)
• Title（参考訳）: 線形注意は(おそらく)必要なすべてである(トランスフォーマー最適化を理解するために)。
• Authors: Kwangjun Ahn, Xiang Cheng, Minhak Song, Chulhee Yun, Ali Jadbabaie, Suvrit Sra
• Abstract要約: 我々は、単純だが正準化された浅部変圧器モデルを研究することにより、訓練用変圧器の微妙さの理解に向けて前進する。 最も重要なことは、線形化モデルがトランスフォーマーのトレーニング力学のいくつかの顕著な側面を再現できることである。
• 参考スコア（独自算出の注目度）: 55.81555204646486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer training is notoriously difficult, requiring a careful design of optimizers and use of various heuristics. We make progress towards understanding the subtleties of training transformers by carefully studying a simple yet canonical linearized shallow transformer model. Specifically, we train linear transformers to solve regression tasks, inspired by J. von Oswald et al. (ICML 2023), and K. Ahn et al. (NeurIPS 2023). Most importantly, we observe that our proposed linearized models can reproduce several prominent aspects of transformer training dynamics. Consequently, the results obtained in this paper suggest that a simple linearized transformer model could actually be a valuable, realistic abstraction for understanding transformer optimization.
• Abstract（参考訳）: 変圧器の訓練は非常に難しく、オプティマイザの注意深い設計と様々なヒューリスティックスの使用が必要である。 我々は,単純だが正準線形化浅部変圧器モデルを慎重に研究することにより,訓練用変圧器の微妙さの理解に向けて前進する。 具体的には、J. von Oswald et al. (ICML 2023) と K. Ahn et al. (NeurIPS 2023) にインスパイアされた回帰問題を解くために線形変換器を訓練する。 最も重要な点は,提案する線形化モデルがトランスフォーマートレーニングダイナミクスのいくつかの顕著な側面を再現できることである。 その結果,単純な線形化トランスフォーマーモデルが,トランスフォーマー最適化を理解する上で有用で現実的な抽象化である可能性が示唆された。

関連論文リスト

• Graph Transformers Dream of Electric Flow [72.06286909236827]
  グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。 そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
  論文  参考訳（メタデータ） (2024-10-22T05:11:45Z)
• How Well Can Transformers Emulate In-context Newton's Method? [46.08521978754298]
  線形回帰以外の高次最適化手法をトランスフォーマーで行うことができるかどうかを考察する。 2層のみの行列逆転に対するニュートンの反復の単一ステップの実装において、線形注意のみの変換器が可能であることを実証する。
  論文  参考訳（メタデータ） (2024-03-05T18:20:10Z)
• Linear Transformers are Versatile In-Context Learners [19.988368693379087]
  線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。 また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。 ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
  論文  参考訳（メタデータ） (2024-02-21T23:45:57Z)
• Do Efficient Transformers Really Save Computation? [32.919672616480135]
  我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。 以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。 我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
  論文  参考訳（メタデータ） (2024-02-21T17:00:56Z)
• On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
  我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。 提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Momentum Transformer: Closing the Performance Gap Between Self-attention and Its Linearization [31.28396970291575]
  効率の良い変圧器は、変圧器の二次的な複雑さを減らすために提案されているが、精度は著しく低下している。 まず、勾配降下ステップとして注目マップの計算における線形注意と残差接続を解釈する。 次に、これらの成分に運動量を導入し、線形メモリと計算複雑性を維持しつつ、線形変圧器の精度を向上させるために運動量を利用するエンファンモーメント変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-01T02:37:49Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。