論文の概要: Understanding the Failure Modes of Transformers through the Lens of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2512.09182v1
• Date: Tue, 09 Dec 2025 22:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.340151
• Title: Understanding the Failure Modes of Transformers through the Lens of Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのレンズによる変圧器の故障モードの理解
• Authors: Hunjae Lee,
• Abstract要約: 本稿では、グラフニューラルネットワーク(GNN)理論による変圧器の故障モードの多くについて考察する。 まず、トランスフォーマーを含むディープラーニングの多くは、学習可能な情報混合と伝播に関するものです。 さらに,デコーダのみのトランスフォーマーの因果特性が情報伝達における興味深い幾何学的性質をいかに生み出すかを分析し,予測可能かつ破壊的な障害モードをもたらす可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers and more specifically decoder-only transformers dominate modern LLM architectures. While they have shown to work exceptionally well, they are not without issues, resulting in surprising failure modes and predictably asymmetric performance degradation. This article is a study of many of these observed failure modes of transformers through the lens of graph neural network (GNN) theory. We first make the case that much of deep learning, including transformers, is about learnable information mixing and propagation. This makes the study of model failure modes a study of bottlenecks in information propagation. This naturally leads to GNN theory, where there is already a rich literature on information propagation bottlenecks and theoretical failure modes of models. We then make the case that many issues faced by GNNs are also experienced by transformers. In addition, we analyze how the causal nature of decoder-only transformers create interesting geometric properties in information propagation, resulting in predictable and potentially devastating failure modes. Finally, we observe that existing solutions in transformer research tend to be ad-hoc and driven by intuition rather than grounded theoretical motivation. As such, we unify many such solutions under a more theoretical perspective, providing insight into why they work, what problem they are actually solving, and how they can be further improved to target specific failure modes of transformers. Overall, this article is an attempt to bridge the gap between observed failure modes in transformers and a general lack of theoretical understanding of them in this space.
• Abstract（参考訳）: トランスおよびより具体的にはデコーダのみのトランスが現代のLLMアーキテクチャを支配している。 彼らは非常にうまく機能することを示したが、問題なく、驚くべき失敗モードと予測可能な非対称なパフォーマンス劣化をもたらす。 本稿では、グラフニューラルネットワーク(GNN)理論による変圧器の故障モードの多くについて研究する。 まず、トランスフォーマーを含むディープラーニングの多くは、学習可能な情報混合と伝播に関するものです。 これにより、モデル故障モードの研究は情報伝達におけるボトルネックの研究となる。 これは自然にGNN理論につながり、情報伝達のボトルネックやモデルの理論的失敗モードに関する豊富な文献がすでに存在する。 そして、GNNが直面している多くの問題がトランスフォーマーによっても経験されていることを指摘します。 さらに,デコーダのみのトランスフォーマーの因果特性が情報伝達における興味深い幾何学的性質をいかに生み出すかを分析し,予測可能かつ破壊的な障害モードをもたらす可能性がある。 最後に, トランスフォーマー研究における既存の解は, 理論的動機づけよりも直感に強く依存する傾向にある。 そのため、より理論的な視点で多くのソリューションを統一し、なぜそれらが機能するのか、実際に解決している問題は何か、トランスフォーマーの特定の障害モードをターゲットにしてさらに改善されるのか、といった知見を提供する。 全体として、この記事は変圧器における観測された故障モードと、この分野におけるそれらの理論的理解の欠如とのギャップを埋める試みである。

関連論文リスト

• Transformers for Learning on Noisy and Task-Level Manifolds: Approximation and Generalization Insights [47.62295798627317]
  この研究は、多様体上のノイズの多い入力データを含む回帰タスクにおける変換器の性能を分析することによって理論的基礎を確立する。 我々は、多様体の内在次元に決定的に依存する近似と一般化誤差を証明した。 この結果から,入力データに高次元ノイズが伴う場合においても,学習課題における低複雑さ構造を活用できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-06T05:41:46Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
  自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。 我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。 我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:47:03Z)
• Setting the Record Straight on Transformer Oversmoothing [35.125957267464756]
  モデル深度が増加するにつれて、トランスフォーマーは過度に滑らかになる。 平滑化挙動は値と射影重みの固有スペクトルに依存することを示す。 解析により,トランスフォーマー更新方程式の重み付けをパラメータ化して平滑化挙動に影響を及ぼす簡単な方法が明らかになった。
  論文  参考訳（メタデータ） (2024-01-09T01:19:03Z)
• Attention Enables Zero Approximation Error [22.110336842946555]
  固定数の変圧器エンコーダブロックと自由パラメータを持つ単一ヘッド自己アテンション変圧器は,任意の所望の入力エンコーダを誤りなく生成可能であることを示す。 その結果,自由パラメータ数が増加するシングルヘッド自己注意変換器は普遍的であることがわかった。
  論文  参考訳（メタデータ） (2022-02-24T16:06:01Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。