論文の概要: Concise One-Layer Transformers Can Do Function Evaluation (Sometimes)
- arxiv url: http://arxiv.org/abs/2503.22076v1
- Date: Fri, 28 Mar 2025 01:40:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:28:45.981036
- Title: Concise One-Layer Transformers Can Do Function Evaluation (Sometimes)
- Title（参考訳）: 高精度1層変圧器による機能評価(時々)
- Authors: Lena Strobl, Dana Angluin, Robert Frank,
- Abstract要約: 本稿では,変圧器の表現能力に関する研究に寄与する。
任意の関数を与えられた引数で$[n]$から$[n]$に評価する基本的な計算タスクを実行する能力に焦点を当てる。
- 参考スコア（独自算出の注目度）: 1.157192696857674
- License:
- Abstract: While transformers have proven enormously successful in a range of tasks, their fundamental properties as models of computation are not well understood. This paper contributes to the study of the expressive capacity of transformers, focusing on their ability to perform the fundamental computational task of evaluating an arbitrary function from $[n]$ to $[n]$ at a given argument. We prove that concise 1-layer transformers (i.e., with a polylog bound on the product of the number of heads, the embedding dimension, and precision) are capable of doing this task under some representations of the input, but not when the function's inputs and values are only encoded in different input positions. Concise 2-layer transformers can perform the task even with the more difficult input representation. Experimentally, we find a rough alignment between what we have proven can be computed by concise transformers and what can be practically learned.
- Abstract（参考訳）: 変圧器は様々なタスクで大きな成功を収めてきたが、計算モデルとしての基本的な性質はよく理解されていない。
本稿では、任意の関数を与えられた引数で$[n]$から$[n]$に評価する基本的な計算タスクを実行する能力に着目し、変換器の表現能力の研究に寄与する。
入力のいくつかの表現の下では、関数の入力と値が異なる入力位置にのみ符号化される場合ではなく、簡潔な1層トランスフォーマー(つまり、頭部の数、埋め込み寸法、精度の積にポリログが束縛されている)がこのタスクを実行できることを証明した。
簡潔な2層トランスは、より難しい入力表現でもタスクを実行することができる。
実験により、我々が証明したものは、簡潔な変換器によって計算できるものと、実際に学習できるものとの間に大まかな整合性があることが判明した。
関連論文リスト
- On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
多様なタスクを伴う線形回帰のための文脈内学習について検討する。
We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
論文 参考訳（メタデータ） (2024-10-29T03:27:56Z) - Dissecting Multiplication in Transformers: Insights into LLMs [23.109124772063574]
本稿では,この領域における変圧器の不完全性を探索し,説明するために,典型的な算術的タスクである整数乗法に焦点を当てる。
n桁整数乗算を行うために訓練されたバニラ変圧器の包括的解析を行う。
乗算タスクにおける変換器の性能向上のための改良を提案する。
論文 参考訳（メタデータ） (2024-07-22T04:07:26Z) - When Can Transformers Count to n? [48.32323039293186]
本研究では, 変圧器状態の次元が文脈長で線形であれば, この課題を解くことができることを示す。
サイズ制限された変圧器がこのタスクを実装することが不可能な理由を理論的に論じる。
本結果は,トランスフォーマーが簡単なタスクを解く方法を理解することの重要性を示す。
論文 参考訳（メタデータ） (2024-07-21T13:31:02Z) - Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。
これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
論文 参考訳（メタデータ） (2024-02-23T18:12:53Z) - AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。
特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。
いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
論文 参考訳（メタデータ） (2024-02-21T07:07:54Z) - Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。
この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
論文 参考訳（メタデータ） (2024-02-20T10:11:03Z) - Approximation and Estimation Ability of Transformers for
Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。
我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
論文 参考訳（メタデータ） (2023-05-30T02:44:49Z) - On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。
硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
論文 参考訳（メタデータ） (2021-06-30T17:09:47Z) - On the Computational Power of Transformers and its Implications in
Sequence Modeling [10.497742214344855]
特に、位置エンコーディング、アテンションヘッド、残差接続、フィードフォワードネットワークといったトランスフォーマーにおける様々なコンポーネントの役割は明確ではない。
バニラ変換器がチューリング完全であることを示すための代替的で単純な証明を提供する。
さらに、ネットワークのチューリング完全性に対する各コンポーネントの必要性を分析する。
論文 参考訳（メタデータ） (2020-06-16T16:27:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。