論文の概要: Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning

• arxiv url: http://arxiv.org/abs/2603.10377v1
• Date: Wed, 11 Mar 2026 03:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.769073
• Title: Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning
• Title（参考訳）: ステップワイズ推論のためのLCM遅延空間における因果概念グラフ
• Authors: Md Muntaqim Meherab, Noor Islam S. Mohammad, Faiza Feroz,
• Abstract要約: Causal Concept Graphs (CCG): スパースで解釈可能な潜在機能に関する非巡回グラフ。 タスク条件付きスパースオートエンコーダとDAGMAスタイルの微分可能な構造学習を組み合わせたグラフ復元を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders can localize where concepts live in language models, but not how they interact during multi-step reasoning. We propose Causal Concept Graphs (CCG): a directed acyclic graph over sparse, interpretable latent features, where edges capture learned causal dependencies between concepts. We combine task-conditioned sparse autoencoders for concept discovery with DAGMA-style differentiable structure learning for graph recovery and introduce the Causal Fidelity Score (CFS) to evaluate whether graph-guided interventions induce larger downstream effects than random ones. On ARC-Challenge, StrategyQA, and LogiQA with GPT-2 Medium, across five seeds ($n{=}15$ paired runs), CCG achieves $\CFS=5.654\pm0.625$, outperforming ROME-style tracing ($3.382\pm0.233$), SAE-only ranking ($2.479\pm0.196$), and a random baseline ($1.032\pm0.034$), with $p<0.0001$ after Bonferroni correction. Learned graphs are sparse (5-6\% edge density), domain-specific, and stable across seeds.
• Abstract（参考訳）: スパースオートエンコーダは、概念が言語モデルに生息する場所をローカライズできるが、多段階推論では相互作用しない。 提案する因果概念グラフ(Causal Concept Graphs, CCG)は, エッジが概念間の因果関係を捉えたスパースで解釈可能な非巡回グラフである。 タスク条件付きスパースオートエンコーダとDAGMAスタイルの微分可能な構造学習を組み合わせることで,グラフ誘導による介入がランダムな操作よりもダウンストリーム効果を増大させるかどうかを評価する。 ARC-Challenge、StrategyQA、LogiQA with GPT-2 Mediumでは、5つのシード(n{=}15$ペアラン)でCCGが$\CFS=5.654\pm0.625$、ROMEスタイルのトレース(3.382\pm0.233$)、SAEのみのランキング(2.479\pm0.196$)、ランダムベースライン(1.032\pm0.034$)で$p<0.0001$を達成した。 学習されたグラフはスパース(エッジ密度5-6\%)、ドメイン固有、種子間で安定である。

関連論文リスト

• Scalable Attribute-Missing Graph Clustering via Neighborhood Differentiation [46.17999216122895]
  本稿では,新しいDGC手法である underlinetextbfComplementary underlinetextbfMulti-underlinetextbfView を提案する。 CMV-NDはグラフ構造情報を完全だが非冗長な方法で複数のビューに前処理する。 CMV-NDは,6つのグラフデータセットの実験結果から,様々な手法の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-07-09T13:42:43Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Adaptive Local Clustering over Attributed Graphs [16.197833892857282]
  局所グラフクラスタリングは、G$のサブグラフである$C_sを、$C_s$のサイズとほぼ線形に囲む$v_s$で識別することを目的としている。 既存のソリューションのほとんどは、単に$G$のノード間のトポロジ的接続に依存しているだけであり、それらが欠落またはノイズの多いリンクに対して脆弱である。 本稿では,複数の実データセット上での超高速な経験的性能を実現するLGCの効率的かつ効果的なアプローチであるLACAを提案する。
  論文  参考訳（メタデータ） (2025-03-26T12:24:07Z)
• Graph Sparsification via Mixture of Graphs [67.40204130771967]
  そこで我々はMixture-of-Graphs (MoG)を導入し、各ノードに対して動的に調整されたプルーニングソリューションを選択する。 MoGには複数のスパシファイアの専門家が組み込まれており、それぞれが独自のスパーシリティレベルとプルーニング基準によって特徴付けられ、各ノードに対して適切な専門家を選択する。 5つのGNNを備えた4つの大規模OGBデータセットと2つのスーパーピクセルデータセットの実験により、MoGはより高い空間レベルのサブグラフを識別することを示した。
  論文  参考訳（メタデータ） (2024-05-23T07:40:21Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Collaborative likelihood-ratio estimation over graphs [55.98760097296213]
  グラフに基づく相対的制約のない最小二乗重要度フィッティング(GRULSIF) 我々はこの考え方を、グラフベースの相対的非制約最小二乗重要度フィッティング(GRULSIF)と呼ばれる具体的な非パラメトリック手法で開発する。 我々は、ノード当たりの観測回数、グラフのサイズ、およびグラフ構造がタスク間の類似性をどの程度正確にエンコードしているかといった変数が果たす役割を強調する、協調的なアプローチの収束率を導出する。
  論文  参考訳（メタデータ） (2022-05-28T15:37:03Z)
• Seeded graph matching for the correlated Gaussian Wigner model via the projected power method [5.639451539396459]
  グラフマッチングアルゴリズムとして,Emphprojected Power Method (PPM) の性能解析を行った。 PPM は定数 $sigma$ の反復でも機能し、(Mao et al. 2023) のスパース相関エルドス・レニー(CER) モデルに対する解析を (dense) CGW モデルに拡張する。
  論文  参考訳（メタデータ） (2022-04-08T14:31:26Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。