論文の概要: Looped Transformers for Length Generalization

• arxiv url: http://arxiv.org/abs/2409.15647v2
• Date: Wed, 25 Sep 2024 15:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 21:27:33.146565
• Title: Looped Transformers for Length Generalization
• Title（参考訳）: 長大化のためのループ変換器
• Authors: Ying Fan, Yilun Du, Kannan Ramchandran, Kangwook Lee,
• Abstract要約: 適応的なステップ数を持つループ変換器は長さの一般化を著しく向上することを示す。 我々は,提案した学習アルゴリズムを用いてループ変換器を訓練し,様々なタスクに対して,高度に長大な一般化可能な解を学習することを確認する。
• 参考スコア（独自算出の注目度）: 41.99378201613648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that Transformers trained from scratch can successfully solve various arithmetic and algorithmic tasks, such as adding numbers and computing parity. While these Transformers generalize well on unseen inputs of the same length, they struggle with length generalization, i.e., handling inputs of unseen lengths. In this work, we demonstrate that looped Transformers with an adaptive number of steps significantly improve length generalization. We focus on tasks with a known iterative solution, involving multiple iterations of a RASP-L operation - a length-generalizable operation that can be expressed by a finite-sized Transformer. We train looped Transformers using our proposed learning algorithm and observe that they learn highly length-generalizable solutions for various tasks.
• Abstract（参考訳）: 最近の研究によると、スクラッチから訓練されたトランスフォーマーは、数や計算パリティなどの様々な算術的およびアルゴリズム的なタスクをうまく解くことができる。 これらの変換器は、同じ長さの未知の入力をうまく一般化するが、長さの一般化、すなわち見えない長さの入力を扱うのに苦労する。 本研究では,適応的なステップ数を持つループ変換器が長さの一般化を著しく向上することを示す。 有限サイズの変換器で表現可能な長さ一般化可能な演算である RASP-L 演算の繰り返しを含む,既知の反復解を用いたタスクに着目する。 我々は,提案した学習アルゴリズムを用いてループ変換器を訓練し,様々なタスクに対して,高度に長大な一般化可能な解を学習することを確認する。

関連論文リスト

• Arithmetic Transformers Can Length-Generalize in Both Operand Length and Count [19.148785141454642]
  トランスフォーマーはしばしば長さの一般化に苦しむため、トレーニング中に遭遇したものよりも長いシーケンスに一般化できない。 本研究は,算術変換器で最初に達成された2～3倍の長さのタスクを一般化する。
  論文  参考訳（メタデータ） (2024-10-21T08:49:51Z)
• Dissecting Multiplication in Transformers: Insights into LLMs [23.109124772063574]
  本稿では,この領域における変圧器の不完全性を探索し,説明するために,典型的な算術的タスクである整数乗法に焦点を当てる。 n桁整数乗算を行うために訓練されたバニラ変圧器の包括的解析を行う。 乗算タスクにおける変換器の性能向上のための改良を提案する。
  論文  参考訳（メタデータ） (2024-07-22T04:07:26Z)
• On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
  我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。 提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Transformers Can Achieve Length Generalization But Not Robustly [76.06308648699357]
  長さ一般化の成功は,データ形式や位置エンコーディングのタイプと密接に関連していることを示す。 標準変換器が入力長の2.5倍のシーケンス長に外挿できることを初めて示す。
  論文  参考訳（メタデータ） (2024-02-14T18:18:29Z)
• What Algorithms can Transformers Learn? A Study in Length Generalization [23.970598914609916]
  アルゴリズムタスクにおける長さ一般化の具体的設定におけるトランスフォーマーの能力の範囲について検討する。 具体的には、Transformerの計算モデル用に設計されたプログラミング言語であるRASPを利用する。 我々の研究は、構成一般化のメカニズムとトランスフォーマーのアルゴリズム能力に関する新しい視点を提供する。
  論文  参考訳（メタデータ） (2023-10-24T17:43:29Z)
• Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
  本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。 提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
  論文  参考訳（メタデータ） (2023-10-03T08:44:50Z)
• Sumformer: Universal Approximation for Efficient Transformers [2.4832703558223725]
  本稿では,シーケンス・ツー・シーケンス関数を普遍的に近似できる新しいシンプルなアーキテクチャであるSumformerを紹介する。 我々はトランスフォーマーの新しい証明を導き、一つの注意層だけが普遍的な近似に十分であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:59:35Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。