論文の概要: Why don't Graph Transformers attend to the same token?

• arxiv url: http://arxiv.org/abs/2610.19324v1
• Date: Wed, 14 Oct 2026 00:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.857471
• Title: Why don't Graph Transformers attend to the same token?
• Title（参考訳）: なぜGraph Transformerは同じトークンに参加しないのか?
• Abstract要約: グラフ変換器 GRIT が分子上にシンクを形成することは滅多にない。 我々は、その対称性と局所性が任意のノードが受ける注意を制限することを実証し、実証的に示す。 実験では、ドット積のスコアリングが集中する識別可能なノードを持つときに形成される。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large language models (LLMs), attention concentrates heavily on the first token. This 'attention sink' is believed to protect deep models against over-mixing. Even though graph transformers face a related pressure, we find that a SoTA graph transformer, GRIT, rarely forms sinks on molecules, and that it sinks less when trained on larger graphs, the opposite of the trend in LLMs. In principle, a graph can prevent sinks: we prove and show empirically that its symmetry and locality limit the attention any node can receive. On molecules, however, with distinguishable atoms and global attention, neither limit prevents sinks; what stops them lies in the model. We find that the attention scoring function is the main cause. Replacing GRIT's gated logit with a dot product raises its sink rate from 0.09 to 0.68 on identical graphs. In Graph Transformers using dot-product attention, removing the sink gives about the same error as removing a random node, while GRIT's most-attended nodes matter to its predictions. Attention sinks are therefore a property of dot-product attention rather than of Transformers. In our experiments, they form when dot-product scoring has a distinguishable node to concentrate on.
• Abstract（参考訳）: 大きな言語モデル(LLM)では、最初のトークンに注意が集中する。 この「アテンションシンク」は、深層モデルが過剰な混合から保護されていると考えられている。 グラフ変換器は関連する圧力に直面するが、SoTAグラフ変換器であるGRITは分子上にシンクを形成することは稀であり、LLMの傾向とは逆の、より大きなグラフ上でのトレーニングではシンクが少なくなる。 原則として、グラフはシンクを防ぐことができ、その対称性と局所性がどのノードにも受けられる注意を制限することを実証し、実証的に示す。 しかし、区別可能な原子とグローバルな注意を持つ分子では、どちらの制限もシンクを妨げない。 注意力評価機能が主な原因であることが判明した。 GRITのゲートロジットをドット積で置き換えると、シンクレートは0.09から0.68に上昇する。 ドット生成注意を用いたグラフ変換器では、シンクの除去はランダムノードの除去と同じエラーを与えるが、GRITの最も注意されたノードはその予測に重要である。 したがって、注意シンクは変圧器よりも点生成的注意の性質である。 我々の実験では、ドット積のスコアリングが集中すべき区別可能なノードを持つときに形成される。

関連論文リスト

• Attention Sinks in VLMs Are Borrowed, Not Seen [76.79123104039475]
  ビジュアルアテンションシンク(Visual attention sink)は、クエリやタスクに関わらず、画像上の大きな注意を吸収する画像トークンである。 画像トークンのキーと言語モデルのテキストシンクのキーとの間の中心的なコサイン類似性だけが、視覚的なシンクを検出する。 本稿では,まず注意マップをクリーニングし,次に最も注目された領域を抽出し,推論トレースに挿入する,トレーニングフリーでエントロピートリガー付きリルックを提案する。
  論文  参考訳（メタデータ） (2026-10-11T19:20:41Z)
• SigGate-GT: Taming Over-Smoothing in Graph Transformers via Sigmoid-Gated Attention [13.891522069967507]
  本稿では,SigGate-GTを提案する。SigGate-GTは,学習した頭ごとのSigmoidゲートをグラフGPSフレームワーク内のアテンション出力に適用するグラフトランスフォーマである。 SigGate-GTは,4～16層にわたるMADの相対的な増加率を30%削減し,注意エントロピーを高め,学習率の10倍程度のトレーニングを安定化することを示した。
  論文  参考訳（メタデータ） (2026-04-19T08:33:48Z)
• When Attention Sink Emerges in Language Models: An Empirical View [39.36282162213973]
  言語モデル(LM)は、意味的に重要でない場合でも、最初のトークンに注意を向ける。 この現象は、ストリーミング/ロングコンテキスト生成、KVキャッシュ最適化、推論アクセラレーション、モデル量子化などのアプリケーションで広く採用されている。 我々はまず、小さなモデルであっても様々な入力を持つLMにおいて、注意シンクが普遍的に存在することを実証した。
  論文  参考訳（メタデータ） (2024-10-14T17:50:28Z)
• Gramformer: Learning Crowd Counting via Graph-Modulated Transformer [68.26599222077466]
  Gramformerはグラフ変調変換器で、それぞれ注意点と入力ノードの特徴を調整してネットワークを強化する。 ノードの集中位置や重要性を発見するために,特徴に基づく符号化を提案する。 提案手法の競争性を検証した4つの挑戦的群集カウントデータセットの実験を行った。
  論文  参考訳（メタデータ） (2024-01-08T13:01:54Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision [16.86132592140062]
  ノイズグラフに対する自己教師付きグラフアテンションネットワーク(SuperGAT)を提案する。 我々は、エッジを予測するために、自己教師型タスクと互換性のある2つの注意形式を利用する。 エッジを符号化することで、SuperGATは、リンクされた隣人を識別する際に、より表現力のある注意を学習する。
  論文  参考訳（メタデータ） (2022-04-11T05:45:09Z)
• Transferability Properties of Graph Neural Networks [125.71771240180654]
  グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。 適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。 その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
  論文  参考訳（メタデータ） (2021-12-09T00:08:09Z)
• Continuous-time quantum walks in the presence of a quadratic perturbation [55.41644538483948]
  連続時間量子ウォークの特性を、$mathcalH=L + lambda L2$という形のハミルトン群で解決する。 低/高接続性および/または対称性を持つパラダイムモデルであるため、サイクル、完全、およびスターグラフを考える。
  論文  参考訳（メタデータ） (2020-05-13T14:53:36Z)
• Improving Expressivity of Graph Neural Networks [0.0]
  一般的なGNNよりも表現力の高いグラフニューラルネットワークを提案する。 我々は、指数関数的に離れたノードから情報を集約する注目ウィンドウを拡大したグラフアテンションネットワークを使用する。
  論文  参考訳（メタデータ） (2020-04-08T17:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。