論文の概要: Looped Transformers are Better at Learning Learning Algorithms
- arxiv url: http://arxiv.org/abs/2311.12424v1
- Date: Tue, 21 Nov 2023 08:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 01:29:29.225468
- Title: Looped Transformers are Better at Learning Learning Algorithms
- Title（参考訳）: ループ変換器は学習アルゴリズムに優れている
- Authors: Liu Yang, Kangwook Lee, Robert Nowak, Dimitris Papailiopoulos
- Abstract要約: 本稿では,Emphlooped Transformerアーキテクチャの利用法と関連するトレーニング手法を提案する。
実験結果から, ループ変換器は標準変圧器に匹敵する性能を実現することが示唆された。
- 参考スコア（独自算出の注目度）: 18.557301687786296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers have demonstrated effectiveness in \emph{in-context solving}
data-fitting problems from various (latent) models, as reported by Garg et al.
However, the absence of an inherent iterative structure in the transformer
architecture presents a challenge in emulating the iterative algorithms, which
are commonly employed in traditional machine learning methods. To address this,
we propose the utilization of \emph{looped} transformer architecture and its
associated training methodology, with the aim of incorporating iterative
characteristics into the transformer architectures. Experimental results
suggest that the looped transformer achieves performance comparable to the
standard transformer in solving various data-fitting problems, while utilizing
less than 10\% of the parameter count.
- Abstract（参考訳）: gargらによって報告されたように、トランスフォーマーは様々な(相対的な)モデルからのデータフィッティング問題に対して有効である。
しかしながら、トランスフォーマーアーキテクチャに固有の反復構造がないことは、従来の機械学習手法で一般的に使用される反復アルゴリズムをエミュレートする上での課題となっている。
そこで本研究では, 変圧器アーキテクチャに反復特性を取り入れることを目的とした, 変圧器アーキテクチャとその関連する訓練手法の利用を提案する。
実験結果から, ループ変換器は, パラメータ数の10%未満を生かしながら, 各種データ適合問題の解法において, 標準変圧器に匹敵する性能を実現することが示唆された。
関連論文リスト
- RingFormer: Rethinking Recurrent Transformer with Adaptive Level Signals [2.287772422489548]
本稿では,リング状に繰り返し入力を処理するトランスフォーマー層を1つ導入したリングホルダーを提案する。
これにより、翻訳や画像分類といった様々なタスクにおいて、高い性能を維持しながら、モデルパラメータを大幅に削減できる。
論文 参考訳（メタデータ） (2025-02-18T09:34:31Z) - Learning Spectral Methods by Transformers [18.869174453242383]
多層トランスフォーマーは、十分な数の事前学習インスタンスを与えられた場合、アルゴリズム自体を学習可能であることを示す。
この学習パラダイムは、コンテキスト内学習設定とは異なるものであり、人間の脳の学習手順と似ている。
論文 参考訳（メタデータ） (2025-01-02T15:53:25Z) - A Comparative Study on Code Generation with Transformers [0.0]
本稿では「トランスフォーマーを用いたコード生成の比較研究」という概念を紹介する。
Transformerアーキテクチャに基づくモデルと、さまざまな問題に対してC++ソースコードを自動生成するNLP方法論。
論文 参考訳（メタデータ） (2024-12-07T21:18:23Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - Linear Transformers are Versatile In-Context Learners [19.988368693379087]
線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。
また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。
ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
論文 参考訳（メタデータ） (2024-02-21T23:45:57Z) - AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。
特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。
いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
論文 参考訳（メタデータ） (2024-02-21T07:07:54Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文 参考訳（メタデータ） (2023-06-01T20:27:01Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。