論文の概要: Pattern Formation in Transformers

• arxiv url: http://arxiv.org/abs/2609.37921v1
• Date: Tue, 29 Sep 2026 16:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.729031
• Title: Pattern Formation in Transformers
• Title（参考訳）: 変圧器のパターン形成
• Abstract要約: 変換器の動的ビューは位置を考慮できることを示す。 注意、多面的注意、出力値幾何学。 我々は,どのパターンが増幅され,どのパターンが安定化し,競合し,共存するかを制御する上で,各アーキテクチャコンポーネントの役割を特徴づける。
• 参考スコア（独自算出の注目度）: 29.555581122914727
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: What are the inductive biases of a Transformer architecture? Existing theory on how the forward pass shapes representations either considers whether Transformers escape from rank collapse or demonstrates that self-attention drives tokens toward cluster patterns. The latter view arises from an elegant dynamical systems perspective, but relies on simplified architectural assumptions, and does not explain the rich structures observed in practice. This leaves a major open question: when a full Transformer escapes rank collapse, how does it structure token representations? Using pattern-formation theory, we show that the dynamical view of Transformers can account for Positional Encoding, Multi-Head Attention, and Output-Value geometry. We demonstrate that a full Transformer architecture imposes an inductive prior by selectively amplifying a rich set of previously unreported patterns, including traveling or rotating waves among others. We characterize the role of each architectural component in controlling which pattern is amplified, which ones stabilize, compete, or coexist. Finally, we show that these structures can act as a controllable dynamical prior that facilitates learning. By choosing both task-aligned positional encoding and weight initialization, we demonstrate improved data efficiency and accelerated optimization on controlled sequence tasks and with ConViT on CIFAR-10.
• Abstract（参考訳）: Transformerアーキテクチャの帰納バイアスはどのようなものか? フォワードパスの表現方法に関する既存の理論では、トランスフォーマーがランク崩壊から逃れるか、自己アテンションがトークンをクラスタパターンに向けて駆動することを示すかが検討されている。 後者の見解は、エレガントな動的システムの観点から生じるが、単純化されたアーキテクチャの前提に依存しており、実際観察されたリッチな構造を説明できない。 フルトランスフォーマーがランク崩壊から逃れた場合、トークンの表現をどのように構成するか? パターン形成理論を用いて、トランスフォーマーの動的ビューは、位置エンコーディング、マルチヘッドアテンション、出力値幾何学を考慮できることを示す。 本研究では,トランスフォーマーアーキテクチャが進行波や回転波など,未報告パターンの豊富な集合を選択的に増幅することにより,導電性に先行することを示す。 我々は,どのパターンが増幅され,どのパターンが安定化し,競合し,共存するかを制御する上で,各アーキテクチャコンポーネントの役割を特徴づける。 最後に、これらの構造が、学習を容易にする制御可能な動的前駆体として機能することを示す。 タスク整合位置符号化と重み初期化の両方を選択することで、制御されたシーケンスタスクとCIFAR-10上のConViTによるデータ効率の向上と最適化の高速化を実証する。

関連論文リスト

• Selective Induction Heads: How Transformers Select Causal Structures In Context [50.09964990342878]
  因果構造を扱うトランスフォーマーの能力を示す新しいフレームワークを提案する。 我々のフレームワークは、遷移確率を固定しつつ、ラグの異なるマルコフ鎖をインターリーブすることで因果構造を変化させる。 この設定は、コンテクスト内で正しい因果構造を選択できる新しい回路である選択誘導ヘッド(Selective induction Heads)を形成する。
  論文  参考訳（メタデータ） (2025-09-09T23:13:41Z)
• From Sequence to Structure: Uncovering Substructure Reasoning in Transformers [46.70637617878836]
  本稿では,デコーダのみのトランスフォーマーアーキテクチャが基礎となるグラフ構造をいかに理解できるかを示す。 複雑な複合パターンを効率的に抽出するために, サブストラクチャにおける思考の概念を導入する。 この結果から,シーケンスベースのトランスフォーマーがグラフデータ上でサブ構造抽出タスクをどのように実行するか,新たな知見が得られた。
  論文  参考訳（メタデータ） (2025-07-11T17:36:24Z)
• Enhancing Transformers for Generalizable First-Order Logical Entailment [51.04944136538266]
  本稿では,変圧器の1次論理的推論能力をパラメータ化知識を用いて一般化する。 本稿では,一階述語論理エンターメントの性能を大幅に向上させる論理認識アーキテクチャTEGAを提案する。
  論文  参考訳（メタデータ） (2025-01-01T07:05:32Z)
• What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis [8.008567379796666]
  トランスフォーマーと他のアーキテクチャを区別する点について、基本的な理解を提供する。 この結果から,トランスフォーマーにおける様々なアーキテクチャと最適化の選択は,その非線形な依存関係に遡ることができることが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T18:15:02Z)
• How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
  自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。 我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。 我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:47:03Z)
• Holistically Explainable Vision Transformers [136.27303006772294]
  本稿では,B-cos変換器を提案する。 具体的には、各モデルコンポーネント(多層パーセプトロン、注意層、トークン化モジュールなど)を動的線形に定式化する。 提案した設計をViT(Vision Transformers)に適用し,Bcos-ViTと呼ばれるモデルが高解釈可能であり,ベースラインのViTと競合することを示す。
  論文  参考訳（メタデータ） (2023-01-20T16:45:34Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。