論文の概要: N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using
Neural Ordinary Differential Equations
- arxiv url: http://arxiv.org/abs/2010.11358v1
- Date: Thu, 22 Oct 2020 00:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 05:14:04.368264
- Title: N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using
Neural Ordinary Differential Equations
- Title（参考訳）: n-ode変圧器 : 神経常微分方程式を用いた深さ適応変圧器
- Authors: Aaron Baier-Reinio and Hans De Sterck
- Abstract要約: ニューラル常微分方程式を用いて、入力依存の時間ステップ数が通常の微分方程式ソルバによって取られるという意味で、深さ適応的なトランスフォーマーの変種を定式化する。
本稿では、標準トランスフォーマーが既知の制限を持つバイナリシーケンスのパリティを決定するという単純な問題について考察する。
しかし、N-ODE変換器の深さ適応性は、パリティ問題の本質的に非局所的な性質に対する対策を提供していない。
- 参考スコア（独自算出の注目度）: 1.2183405753834562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We use neural ordinary differential equations to formulate a variant of the
Transformer that is depth-adaptive in the sense that an input-dependent number
of time steps is taken by the ordinary differential equation solver. Our goal
in proposing the N-ODE Transformer is to investigate whether its
depth-adaptivity may aid in overcoming some specific known theoretical
limitations of the Transformer in handling nonlocal effects. Specifically, we
consider the simple problem of determining the parity of a binary sequence, for
which the standard Transformer has known limitations that can only be overcome
by using a sufficiently large number of layers or attention heads. We find,
however, that the depth-adaptivity of the N-ODE Transformer does not provide a
remedy for the inherently nonlocal nature of the parity problem, and provide
explanations for why this is so. Next, we pursue regularization of the N-ODE
Transformer by penalizing the arclength of the ODE trajectories, but find that
this fails to improve the accuracy or efficiency of the N-ODE Transformer on
the challenging parity problem. We suggest future avenues of research for
modifications and extensions of the N-ODE Transformer that may lead to improved
accuracy and efficiency for sequence modelling tasks such as neural machine
translation.
- Abstract（参考訳）: 神経常微分方程式を用いて、入力依存時間ステップが常微分方程式ソルバによって取られるという意味で、深さ適応的なトランスフォーマーの変形を定式化する。
N-ODE変換器の目的は、その深度適応性が非局所的な効果を扱う上で、トランスフォーマーの特定の理論的限界を克服するのに役立つかどうかを検討することである。
具体的には、標準トランスフォーマーが十分な数のレイヤーやアテンションヘッドを使用することで克服できるような、既知の制限を持つバイナリシーケンスのパリティを決定するという単純な問題について考察する。
しかし、N-ODE変換器の深さ適応性は、パリティ問題の本質的に非局所的な性質に対する対策を提供しておらず、なぜそうなのかを説明する。
次に、N-ODE変換器の正則化をODEトラジェクトリの弧長をペナル化することで追求するが、これは難解なパリティ問題に対するN-ODE変換器の精度や効率を改善するのに失敗する。
ニューラルマシン翻訳などのシーケンスモデリングタスクの精度と効率の向上につながる可能性があるN-ODE変換器の修正と拡張に関する研究の今後について提案する。
関連論文リスト
- Graph Transformers Dream of Electric Flow [72.06286909236827]
グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。
そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
論文 参考訳（メタデータ） (2024-10-22T05:11:45Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - Do Efficient Transformers Really Save Computation? [32.919672616480135]
我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。
以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。
我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
論文 参考訳（メタデータ） (2024-02-21T17:00:56Z) - SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood
Filling [1.0128808054306186]
本稿では,畳み込みフィルタとフラッドフィリング法を統合したトランスフォーマーの新しいスペーサー方式を提案する。
我々のスパーシフィケーションアプローチは、トレーニング中のTransformerの計算複雑性とメモリフットプリントを低減する。
New SPIONは、既存の最先端スパーストランスモデルよりも最大3.08倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2023-09-22T02:14:46Z) - Deep Transformers without Shortcuts: Modifying Self-attention for
Faithful Signal Propagation [105.22961467028234]
ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである
Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。
しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
論文 参考訳（メタデータ） (2023-02-20T21:26:25Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - ODE Transformer: An Ordinary Differential Equation-Inspired Model for
Sequence Generation [44.101125095045326]
本稿では,Transformer法と数値ODE法との深い関係について検討する。
まず, Transformer の残層ブロックを ODE の高次解として記述できることを示す。
これをきっかけに、我々はODE Transformerという新しいアーキテクチャを設計しました。
論文 参考訳（メタデータ） (2022-03-17T08:54:31Z) - Redesigning the Transformer Architecture with Insights from
Multi-particle Dynamical Systems [32.86421107987556]
我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。
時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。
我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
論文 参考訳（メタデータ） (2021-09-30T14:01:06Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳（メタデータ） (2021-06-23T17:51:26Z) - ODE Transformer: An Ordinary Differential Equation-Inspired Model for
Neural Machine Translation [25.86053637998726]
本稿では, Transformer の残層ブロックを ODE の高次解として記述できることを示す。
Transformerの自然な拡張として、ODE Transformerは実装が簡単で、パラメータが効率的です。
論文 参考訳（メタデータ） (2021-04-06T06:13:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。