論文の概要: Can Graph Learning Learn Circuits?

• arxiv url: http://arxiv.org/abs/2608.08536v1
• Date: Sun, 09 Aug 2026 07:14:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.862306
• Title: Can Graph Learning Learn Circuits?
• Title（参考訳）: グラフ学習は回路を学習できるか?
• Authors: Chester Tan, Moritz Lampert, Courtney Maynard, Ankit Ramakrishnan, Tina Eliassi-Rad, Ingo Scholtes,
• Abstract要約: グラフ機械学習問題として回路ローカライゼーションの枠組みを定めている。 グラフ回路学習(GCL)は,複数のモデルペアにまたがってGNNをトレーニングし,未知のケースに適用するフレームワークである。 予備的な結果は、グラフ機械学習が回路ローカライゼーションに自然かつ潜在的に強力な視点をもたらすことを示唆している。
• 参考スコア（独自算出の注目度）: 4.052788483966698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Circuit localization is a mechanistic interpretability task whose goal is to identify a sparse subgraph of a transformer's computation graph sufficient to reproduce a particular behavior. Most established methods localize circuits independently for each model--task pair. We instead frame circuit localization as a graph machine learning problem in which the edges of a computation graph represent computational pathways, and graph neural networks (GNNs) model interactions among these pathways. We introduce Graph Circuit Learning (GCL), a supervised, amortized framework that trains a GNN across multiple model--task pairs and applies it to unseen cases. To provide sufficient data, we augment the InterpBench benchmark with additional cases derived from the TracrBench programs. Of the 14 evaluated GCL configurations, the highest scored a median edge AUROC of $0.902$ (interquartile interval $[0.861, 0.942]$) on the 16 original held-out InterpBench cases. This is close to the published InterpBench median of $0.910$ for EAP-IG while remaining below ACDC's $0.959$. Removing all message-passing edges reduces the median to $0.825$. We also adapt PGExplainer, a GNN explainability method, to circuit localization, obtaining a median edge AUROC of $0.858$ on the same cases. These preliminary results suggest that graph machine learning offers a natural and potentially powerful perspective on circuit localization, and we hope this perspective encourages closer exchange between the two communities.
• Abstract（参考訳）: 回路ローカライゼーションは、特定の振る舞いを再現するのに十分なトランスフォーマーの計算グラフのスパース部分グラフを特定することを目的としている機械的解釈可能性タスクである。 計算グラフのエッジが計算経路を表すグラフ機械学習問題であり、グラフニューラルネットワーク(GNN)とこれらの経路間のモデル相互作用であるグラフ回路学習(GCL)を導入し、GNNを複数のモデル-タスクペアで訓練し、未確認ケースに適用するグラフ回路学習(GCL)を紹介した。 十分なデータを提供するため、TracrBenchプログラムから派生した追加ケースでInterpBenchベンチマークを増強する。 評価された14のGCL構成のうち、最も高い評価は16件のInterpBenchケースにおいて、AUROCの中央値である0.902$(インタークォータ間隔$[0.861, 0.942]$)であった。 これは、発行されたInterpBench中央値0.910ドルのEAP-IGに近いが、ACDCの0.959ドル以下である。 すべてのメッセージパッシングエッジを削除することで、中央値が0.825$に削減される。 また、GNN説明可能性法であるPGExplainerを回路ローカライゼーションに適用し、同じ場合の中央値のAUROCを0.858ドルとした。 これらの予備的な結果は、グラフ機械学習が回路ローカライゼーションに自然かつ潜在的に強力な視点をもたらすことを示唆しており、この視点が2つのコミュニティ間の密接な交換を促進することを願っている。

関連論文リスト

• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• Transfer Learning for Latent Variable Network Models [18.31057192626801]
  潜在変数ネットワークモデルにおける推定のための伝達学習について検討する。 潜伏変数が共有されている場合、エラーの消滅が可能であることを示す。 我々のアルゴリズムは、$o(1)$エラーを達成し、ソースやターゲットネットワーク上でパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2024-06-05T16:33:30Z)
• Calibrate and Boost Logical Expressiveness of GNN Over Multi-Relational and Temporal Graphs [8.095679736030146]
  2つの変数と数量化器を持つ一階述語論理の断片である$mathcalFOC$NNについて検討する。 本稿では,線形時間で実行可能な,前処理ステップに似た単純なグラフ変換手法を提案する。 我々の結果は,グラフ変換によるR$2$-GNNが,合成および実世界のデータセットのベースライン手法よりも優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2023-11-03T00:33:24Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism [10.723541176359452]
  分散グラフニューラルネットワーク(GNN)トレーニングでは,コミュニケーションが重要なボトルネックとなっている。 GNNPipeは、分散フルグラフの深層GNNトレーニングをスケールする新しいアプローチである。
  論文  参考訳（メタデータ） (2023-08-19T18:44:14Z)
• An Improved Analysis of Gradient Tracking for Decentralized Machine Learning [34.144764431505486]
  トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。 エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。 ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
  論文  参考訳（メタデータ） (2022-02-08T12:58:14Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。 本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。 実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-10-29T08:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。