論文の概要: Multi-component Causal Tracing in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.03085v1
• Date: Tue, 02 Jun 2026 03:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.724382
• Title: Multi-component Causal Tracing in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける多成分因果追跡
• Authors: Zirui Yan, Dennis Wei, Dmitriy A. Katz, Prasanna Sattigeri, Ali Tajer,
• Abstract要約: 因果トレースは、大きな言語モデルの内部表現に介入する。 本稿では,複数のコンポーネントを同時に因果的にトレースする統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 36.05807217872701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Causal tracing systematically intervenes on a large language model's (LLM's) internal representations to uncover and quantify the causal pathways linking specific inputs or computations to specific metrics of interest, quantifying the LLM's behavior. Building on previous single-component or single-layer studies, this paper presents a unified framework for causally tracing multiple components simultaneously. This framework systematically identifies the subsets of components (e.g., attention heads and multi-layer perceptron neurons) most critical to a desired target performance metric (e.g., accuracy and fairness). This is achieved by incorporating flexible interventions applied to a wide range of desired metrics. To address the combinatorial complexity of the multi-component problem, an efficient algorithm is designed that leverages soft interventions and a carefully designed metric transformation, converting the combinatorial search problem into a continuous one that can be solved efficiently under proper constraints, thereby generating proper binary decisions for selecting components. Experimental results demonstrate that the proposed method efficiently identifies subsets of the model's components that have a high impact on the target metric, outperforming existing baseline approaches. Our code is available at https://github.com/ZiruiYan/multi-component-causal-tracing.
• Abstract（参考訳）: 因果トレースは、大きな言語モデルの内部表現(LLM)に体系的に介入し、特定の入力や計算を特定の興味のあるメトリクスにリンクする因果経路を発見し、定量化し、LLMの振る舞いを定量化する。 本稿では,従来の単一コンポーネントや単一レイヤの研究に基づいて,複数のコンポーネントを同時に因果的にトレースする統一的なフレームワークを提案する。 このフレームワークは、所望のパフォーマンス指標(例えば、精度、公平性)に対して最も重要なコンポーネント(例えば、注意ヘッド、多層パーセプトロンニューロン)のサブセットを体系的に識別する。 これは、幅広い望ましいメトリクスに適用された柔軟な介入を組み込むことによって達成される。 多成分問題の組合せ複雑性に対処するため、ソフト介入と慎重に設計されたメートル法変換を利用して、組合せ探索問題を適切な制約下で効率的に解ける連続的な問題に変換し、コンポーネントの選択のための適切なバイナリ決定を生成する効率的なアルゴリズムが設計された。 実験結果から,提案手法は,既存のベースライン手法よりも高い精度で,目標距離に高い影響を与えるモデル成分のサブセットを効率よく同定できることが示唆された。 私たちのコードはhttps://github.com/ZiruiYan/multi-component-causal-tracing.comで利用可能です。

関連論文リスト

• A Learnable Fully Interacted Two-Tower Model for Pre-Ranking System [15.03225449071182]
  2-towerモデルは、効率と有効性のバランスが良いため、プレグレードシステムで広く使われている。 FIT(Learningable Fully Interacted Two-tower Model)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-09-16T10:52:03Z)
• Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning [88.55095746156428]
  Retrieval-augmented Generation (RAG) は、外部知識を大規模言語モデルに組み込むために広く利用されている。 標準的なRAGパイプラインは、クエリ書き換え、文書検索、文書フィルタリング、回答生成など、いくつかのコンポーネントで構成されている。 本稿では,複数コンポーネントからなる複雑なRAGパイプラインを多エージェント協調作業として扱うことを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:24:50Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• Random Aggregate Beamforming for Over-the-Air Federated Learning in Large-Scale Networks [66.18765335695414]
  本稿では,アグリゲーションエラーを最小限に抑え,選択したデバイス数を最大化する目的で,共同装置の選択とアグリゲーションビームフォーミング設計について検討する。 コスト効率のよい方法でこの問題に取り組むために,ランダムな集合ビームフォーミング方式を提案する。 また, 得られた集計誤差と, デバイス数が大きい場合に選択したデバイス数についても解析を行った。
  論文  参考訳（メタデータ） (2024-02-20T23:59:45Z)
• Query-Efficient Correlation Clustering with Noisy Oracle [17.11782578276788]
  共同マルチアーマッドバンド(PE-CMAB)における純粋探索のパラダイムに根ざしたオンライン学習問題の2つの新しい定式化を導入する。 我々は,サンプリング戦略と古典近似アルゴリズムを組み合わせるアルゴリズムを設計し,それらの理論的保証について検討する。 本研究は, PE-CMABの場合のクラスタリング時アルゴリズムの最初の例であり, 基礎となるオフライン最適化問題はNP-hardである。
  論文  参考訳（メタデータ） (2024-02-02T13:31:24Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• 3D Medical Multi-modal Segmentation Network Guided by Multi-source Correlation Constraint [2.867517731896504]
  相関制約付き多モードセグメンテーションネットワークを提案する。 実験の結果,BraTS-2018データセットを用いて脳腫瘍のセグメンテーション実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-02-05T11:23:12Z)
• A Deep Joint Sparse Non-negative Matrix Factorization Framework for Identifying the Common and Subject-specific Functional Units of Tongue Motion During Speech [7.870139900799612]
  音声中の舌運動の共通および主観的機能単位を特定するための新しいディープラーニングフレームワークを開発した。 スパースとグラフ正規化によるNMFを、ディープニューラルネットワークに似たモジュラーアーキテクチャに変換する。
  論文  参考訳（メタデータ） (2020-07-09T15:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。