論文の概要: When Can Transformers Count to n?

• arxiv url: http://arxiv.org/abs/2407.15160v2
• Date: Mon, 7 Oct 2024 13:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 15:56:37.721175
• Title: When Can Transformers Count to n?
• Title（参考訳）: 変換器はいつnにカウントできるのか?
• Authors: Gilad Yehudai, Haim Kaplan, Asma Ghandeharioun, Mor Geva, Amir Globerson,
• Abstract要約: 本研究では, 変圧器状態の次元が文脈長で線形であれば, この課題を解くことができることを示す。 サイズ制限された変圧器がこのタスクを実装することが不可能な理由を理論的に論じる。 本結果は,トランスフォーマーが簡単なタスクを解く方法を理解することの重要性を示す。
• 参考スコア（独自算出の注目度）: 48.32323039293186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models based on the transformer architectures can solve highly complex tasks. But are there simple tasks that such models cannot solve? Here we focus on very simple counting tasks, that involve counting how many times a token in the vocabulary have appeared in a string. We show that if the dimension of the transformer state is linear in the context length, this task can be solved. However, the solution we propose does not scale beyond this limit, and we provide theoretical arguments for why it is likely impossible for a size limited transformer to implement this task. Our empirical results demonstrate the same phase-transition in performance, as anticipated by the theoretical argument. Our results demonstrate the importance of understanding how transformers can solve simple tasks.
• Abstract（参考訳）: トランスフォーマーアーキテクチャに基づく大規模言語モデルは、非常に複雑なタスクを解くことができる。 しかし、そのようなモデルでは解決できない単純なタスクがありますか? ここでは、文字列に何回トークンが出現したかをカウントする非常に単純なカウントタスクに注目します。 本研究では, 変圧器状態の次元が文脈長で線形であれば, この課題を解くことができることを示す。 しかし,提案する解は,この限界を超えてスケールしないため,サイズ限定の変圧器では実現不可能な理由を理論的に論じる。 実験結果は,理論的な議論によって予想されるように,性能の相転移を示すものである。 本結果は,トランスフォーマーが簡単なタスクを解く方法を理解することの重要性を示す。

関連論文リスト

• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Separations in the Representational Capabilities of Transformers and Recurrent Architectures [27.783705012503237]
  我々は,トランスフォーマーとRNNの表現能力の違いを,実践的妥当性のいくつかのタスクで分析する。 対数幅の一層変換器がインデックス検索を行うのに対し、RNNは線形サイズを隠蔽する必要があることを示す。 また、ログサイズの2層トランスは、最寄りのアルゴリズムをフォワードパスで実装できることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:31:30Z)
• Does learning the right latent variables necessarily improve in-context learning? [13.828665019247444]
  Transformersのような大規模な自己回帰モデルは、新しい重みを学習することなく、コンテキスト内学習(ICL)によってタスクを解決できる。 本稿では,タスクラテントを明示的に推論する効果について検討する。 タスク関連潜伏変数への偏りは、分配性能を向上させるには至らない。
  論文  参考訳（メタデータ） (2024-05-29T15:06:10Z)
• The Expressive Power of Transformers with Chain of Thought [29.839710738657203]
  実際には、トランスフォーマーは「思考の連鎖」や「スクラッチパッド」を使用することで改善できる。 答えはYESであるが、増加量は中間生成量に大きく依存する。 また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置することが示唆された。
  論文  参考訳（メタデータ） (2023-10-11T22:35:18Z)
• Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective [39.47116013338394]
  CoT(Chain-of-Thought prompting)は,大規模言語モデル(LLM)の性能を劇的に向上させる 我々は、CoTが動的プログラミング(Dynamic Programming)として知られる一般的な意思決定問題に対処できることを示します。
  論文  参考訳（メタデータ） (2023-05-24T17:59:21Z)
• Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation [52.94101901600948]
  マルチタスク6-DoF操作のための言語条件付き行動閉鎖エージェントPerActを開発した。 PerActはPerceiver Transformerを用いて言語目標とRGB-Dボクセル観測を符号化し、"次の最良のボクセル動作を検出する"ことで識別された動作を出力する。 以上の結果から,PerActは多様なテーブルトップタスクにおいて,非構造化イメージ・ツー・アクション・エージェントと3D ConvNetベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-09-12T17:51:05Z)
• The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
  入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。 これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
  論文  参考訳（メタデータ） (2022-07-02T03:49:34Z)
• Linearizing Transformer with Key-Value Memory Bank [54.83663647680612]
  我々は、ソースシーケンスを低次元表現に投影するアプローチであるMemSizerを提案する。 MemSizerは同じ線形時間複雑性を達成するだけでなく、効率的なリカレントスタイルの自己回帰生成も楽しめる。 我々はMemSizerがバニラ変圧器の効率と精度のトレードオフを改善することを実証した。
  論文  参考訳（メタデータ） (2022-03-23T18:10:18Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
  トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。 本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。 言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
  論文  参考訳（メタデータ） (2020-02-21T16:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。