論文の概要: DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis

• arxiv url: http://arxiv.org/abs/2510.14336v1
• Date: Thu, 16 Oct 2025 06:15:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.741728
• Title: DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis
• Title（参考訳）: DARTS-GT: 量子インスタンス特異的解釈可能性解析を用いたグラフ変換器の微分可能なアーキテクチャ探索
• Authors: Shruti Sarika Chakraborty, Peter Minary,
• Abstract要約: グラフトランスフォーマー(GT)は、グラフ構造化データのための強力なアーキテクチャとして登場したが、厳密な設計と定量化可能性の欠如により制約を受け続けている。 我々は、因果アブレーションによるGTの定量的解釈可能性フレームワークを開発した。 実験によると、DARTS-GTは4つのデータセットで最先端の再設計を実現し、他のデータセットとの競争は継続している。 我々の解釈可能性分析は、視覚的注意力の回復と因果的重要性が必ずしも相関しているわけではないことを示し、広く使われている可視化アプローチが実際に重要なコンポーネントを見逃すことを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformers (GTs) have emerged as powerful architectures for graph-structured data, yet remain constrained by rigid designs and lack quantifiable interpretability. Current state-of-the-art GTs commit to fixed GNN types across all layers, missing potential benefits of depth-specific component selection, while their complex architectures become opaque where performance gains cannot be distinguished between meaningful patterns and spurious correlations. We redesign GT attention through asymmetry, decoupling structural encoding from feature representation: queries derive from node features while keys and values come from GNN transformations. Within this framework, we use Differentiable ARchiTecture Search (DARTS) to select optimal GNN operators at each layer, enabling depth-wise heterogeneity inside transformer attention itself (DARTS-GT). To understand discovered architectures, we develop the first quantitative interpretability framework for GTs through causal ablation. Our metrics (Head-deviation, Specialization, and Focus), identify which heads and nodes drive predictions while enabling model comparison. Experiments across eight benchmarks show DARTS-GT achieves state-of-the-art on four datasets while remaining competitive on others, with discovered architectures revealing dataset-specific patterns. Our interpretability analysis reveals that visual attention salience and causal importance do not always correlate, indicating widely used visualization approaches may miss components that actually matter. Crucially, heterogeneous architectures found by DARTS-GT consistently produced more interpretable models than baselines, establishing that Graph Transformers need not choose between performance and interpretability.
• Abstract（参考訳）: グラフトランスフォーマー(GT)は、グラフ構造化データのための強力なアーキテクチャとして登場したが、厳密な設計と定量化可能性の欠如により制約を受け続けている。 現在の最先端のGTは、すべての層にわたる固定GNNタイプにコミットするが、深度固有のコンポーネント選択の潜在的なメリットはない。 キーと値がGNN変換から来るのに対して、ノードの特徴から得られるクエリである。 このフレームワーク内では、微分可能なARchiTecture Search (DARTS) を用いて各層で最適なGNN演算子を選択し、変換器の注意そのもの(DARTS-GT)内での深度的な不均一性を実現する。 発見されたアーキテクチャを理解するため,我々は因果的アブレーションによるGTの定量的解釈可能性フレームワークを開発した。 我々の指標(頭部偏差、特殊化、焦点)は、モデルの比較を可能にしながら、どの頭部とノードが予測を駆動するかを特定します。 8つのベンチマークによる実験によると、DARTS-GTは4つのデータセットで最先端を実現し、他のデータセットと競合する傾向にある。 我々の解釈可能性分析は、視覚的注意力の回復と因果的重要性が必ずしも相関しているわけではないことを示し、広く使われている可視化アプローチが実際に重要なコンポーネントを見逃す可能性があることを示唆している。 重要なことに、DARTS-GTが発見した異種アーキテクチャは、ベースラインよりも解釈可能なモデルを一貫して生成しており、グラフトランスフォーマーはパフォーマンスと解釈可能性のどちらかを選択する必要はない。

関連論文リスト

• Relational Graph Transformer [44.56132732108148]
  Graph Transformer (Relel) はリレーショナルテーブル用に設計された最初のグラフトランスである。 Relelは、各ノードを5つのコンポーネントに分解する、新しい多要素トークン化戦略を採用している。 我々のアーキテクチャは、サンプル化されたサブグラフに対する局所的な注意と、学習可能なセントロイドに対するグローバルな注意を組み合わせる。
  論文  参考訳（メタデータ） (2025-05-16T07:51:58Z)
• Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
  グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。 本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。 ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
  論文  参考訳（メタデータ） (2024-12-20T04:05:09Z)
• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• AnchorGT: Efficient and Flexible Attention Architecture for Scalable Graph Transformers [35.04198789195943]
  グラフ変換器(GT)のための新しいアテンションアーキテクチャであるAnchorGTを提案する。 アンカーベースGNNにインスパイアされ、構造的に重要な$k$支配ノードセットをアンカーとして採用し、個々のノードとアンカーの関係に着目したアテンションメカニズムを設計する。 直感的な設計により、AnchorGTは様々なGTモデルのアテンションモジュールを異なるネットワークアーキテクチャで簡単に置き換えることができる。
  論文  参考訳（メタデータ） (2024-05-06T13:53:09Z)
• Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
  教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。 本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。 我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-03-08T05:23:55Z)
• Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS [0.0]
  ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。 合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:16:33Z)
• Transitivity-Preserving Graph Representation Learning for Bridging Local Connectivity and Role-based Similarity [2.5252594834159643]
  局所的およびグローバルな構造情報を固定長ベクトル表現に統合するUnified Graph Transformer Networks (UGT)を提案する。 まず、UGTは各ノードの局所的な部分構造を特定し、各ノードの$k$ホップ近傍の特徴を集約することによって局所構造を学習する。 第三に、UGTは自己アテンションを通じて統一表現を学び、構造距離とノードペア間の$p$ステップ遷移確率を符号化する。
  論文  参考訳（メタデータ） (2023-08-18T12:49:57Z)
• HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer [29.217820912610602]
  グラフトランスフォーマー(GT)は、グラフ全体にわたってもメッセージパッシングがより広範なカバレッジに伝達できるパラダイムで機能する。 ヘテロジニアス情報ネットワーク(HIN)におけるGTの探索はまだ未公開である。 本稿では,ノード表現学習のための大域集約機構を利用するHINormerという新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-22T12:25:07Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Heterogeneous Graph Transformer [49.675064816860505]
  Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ 動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。 Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-03T04:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。