論文の概要: Belief or Circuitry? Causal Evidence for In-Context Graph Learning

• arxiv url: http://arxiv.org/abs/2605.08405v1
• Date: Fri, 08 May 2026 19:11:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.619423
• Title: Belief or Circuitry? Causal Evidence for In-Context Graph Learning
• Title（参考訳）: 信念と回路 : 文脈内グラフ学習における因果的証拠
• Authors: Katharine Kowalyshyn, Timothy Duggan, Daniel Little, Michael C Hughes,
• Abstract要約: モデルがグローバルなトポロジを追跡するか、あるいは局所的な遷移をコピーすることを示す。 どちらの説明も十分でないという2つの証拠を提示する。 本研究は, 実構造推論と誘導回路を並列に動作させる双対機構解析法とよく一致している。
• 参考スコア（独自算出の注目度）: 3.9356042574269545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do LLMs learn in-context? Is it by pattern-matching recent tokens, or by inferring latent structure? We probe this question using a toy graph random-walk across two competing graph structures. This task's answer is, in principle, decidable: either the model tracks global topology, or it copies local transitions. We present two lines of evidence that neither account alone is sufficient. First, reconstructing the internal representation structure via PCA reveals that at intermediate mixture ratios, both graph topologies are encoded in orthogonal principal subspaces simultaneously. This pattern is difficult to reconcile with purely local transition copying. Second, residual-stream activation patching and graph-difference steering causally intervene on this graph-family signal: late-layer patching almost fully transfers the clean graph preference, while linear steering moves predictions in the intended direction and fails under norm-matched and label-shuffled controls. Taken together, our findings are most consistent with a dual-mechanism account in which genuine structure inference and induction circuits operate in parallel.
• Abstract（参考訳）: LLMはどのようにコンテキスト内で学習するか? パターンマッチングの最近のトークンか、あるいは潜在構造を推測するものですか? この問題を、2つの競合するグラフ構造をランダムウォークしたおもちゃグラフを用いて探索する。 このタスクの答えは原則として決定可能である:モデルはグローバルトポロジを追跡するか、あるいは局所的な遷移をコピーする。 どちらの説明も十分でないという2つの証拠を提示する。 まず、PCAを介して内部表現構造を再構成すると、中間混合比において、両方のグラフトポロジーが直交主部分空間に同時に符号化されることが明らかとなる。 このパターンは、純粋に局所的な遷移コピーと整合するのは難しい。 第2に、残ストリーム活性化パッチとグラフ差分ステアリングがこのグラフファミリー信号に因果的に介在する: 遅延層パッチはクリーングラフの好みをほぼ完全に伝達する一方、線形ステアリングは意図した方向に予測を移動し、標準整合およびラベルシャッフル制御の下で失敗する。 本研究は, 実構造推論と誘導回路を並列に動作させる双対機構解析法とよく一致している。

関連論文リスト

• Patch-Effect Graph Kernels for LLM Interpretability [0.0]
  機械的解釈可能性(Mechanistic Interpretability)は、アクティベーションパッチによる因果回路の同定によってトランスフォーマー計算をリバースエンジニアリングすることを目的としている。 本稿では,アクティベーション対応プロファイルをモデルコンポーネント上のパッチ効果グラフとして表現することにより,メカニスティック解析をグラフ機械学習問題として再構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:03:47Z)
• Bridging the Divide: End-to-End Sequence-Graph Learning [47.95529678412846]
  シーケンスとグラフは別の問題ではなく、同じデータセットの相補的な側面であると主張する。 BRIDGEは,シーケンスエンコーダとGNNを結合したエンドツーエンドアーキテクチャである。 BRIDGEは、静的GNN、時間グラフ法、およびランク付けと分類基準に基づくシーケンスのみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-29T03:06:54Z)
• Inferred global dense residue transition graphs from primary structure sequences enable protein interaction prediction via directed graph convolutional neural networks [2.719135068309479]
  タンパク質-タンパク質相互作用(PPI)の正確な予測は、細胞機能を理解し、薬物開発を促進するために重要である。 タンパク質言語モデル(PLMs)からの直接配列埋め込みを用いた既存のin-silico法 また、3Dタンパク質構造にグラフニューラルネットワーク(GNN)を使用するものもある。 本稿では,リンク予測による下流PPI予測のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-15T22:15:31Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Automatically Identifying Local and Global Circuits with Linear Computation Graphs [45.760716193942685]
  Sparse Autoencoders (SAEs) と Transcoders と呼ばれる変種を用いた回路発見パイプラインを導入する。 本手法は各ノードの因果効果を計算するために線形近似を必要としない。 GPT-2 Small: Bracket, induction, Indirect Object Identification circuits の3種類の回路を解析する。
  論文  参考訳（メタデータ） (2024-05-22T17:50:04Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Counterfactual Intervention Feature Transfer for Visible-Infrared Person Re-identification [69.45543438974963]
  視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。 十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。 本稿では,これらの問題に対処するためのCIFT法を提案する。
  論文  参考訳（メタデータ） (2022-08-01T16:15:31Z)
• Graph Spectral Embedding using the Geodesic Betweeness Centrality [76.27138343125985]
  本稿では、局所的な類似性、接続性、グローバル構造を教師なしで表現するグラフSylvester Embedding (GSE)を紹介する。 GSEはシルヴェスター方程式の解を用いて、ネットワーク構造と近傍の近接を1つの表現で捉える。
  論文  参考訳（メタデータ） (2022-05-07T04:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。