論文の概要: Demystifying Variance in Circuit Discovery of LLMs

• arxiv url: http://arxiv.org/abs/2606.16920v1
• Date: Mon, 15 Jun 2026 16:25:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.765279
• Title: Demystifying Variance in Circuit Discovery of LLMs
• Title（参考訳）: LLMの回路発見におけるデミスティフィケーションのばらつき
• Authors: Frank Zhengqing Wu, Francesco Tonin, Volkan Cevher,
• Abstract要約: 我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
• 参考スコア（独自算出の注目度）: 51.97489679448601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Circuit discovery is a key technique in mechanistic interpretability to pinpoint the model components that are crucial for performing a given task. Although the current state-of-the-art method (EAP-IG) performs well on the metric of (un)faithfulness, it suffers from substantial variability. This includes resampling variance, where the circuit changes when we probe with a new batch of data from the same distribution; rephrasing variance, where the discovered circuit shifts when the prompts are rephrased; and sample-wise variance, where a circuit with low population unfaithfulness exhibits large fluctuations in unfaithfulness across individual samples. This paper studies the roots of these variances. We demonstrate that CEAP, our new circuit discovery method that improves upon EAP-IG with a theoretical guarantee, can substantially lessen resampling variance. We further show that rephrasing variance arises because prompts with different templates tend to activate different circuits in the model. This leads us to argue that it may be challenging to find a comprehensive circuit that explains and controls the model's behavior on a task, which can be expressed in countless templates, suggesting that LLMs may be inherently hard to steer. We show that sparsity, which has been claimed to form more compact and interpretable task circuits, fails to solve this problem. Regarding sample-wise variance, we argue that it is largely benign: extremely poor unfaithfulness scores often stem from how unfaithfulness is defined, rather than from defects in the measured circuits. We show that the magnitude of unfaithfulness is affected by selective contribution scaling, a neural mechanism that accounts for the extremely poor scores sometimes observed.
• Abstract（参考訳）: 回路発見は、与えられたタスクを実行するのに不可欠なモデルコンポーネントをピンポイントする機械論的解釈可能性において重要な技術である。 現在の最先端法(EAP-IG)は、(不)忠実度(un)の計量でよく機能するが、かなりの変動に悩まされる。 これには、同じ分布から新しいデータのバッチを探索する際に回路が変化するリサンプリング分散、プロンプトがリフレージングされたときに検出された回路がシフトするリフレージング分散、低人口不信の回路が個々のサンプル間で不信な大きな変動を示すサンプルワイズ分散が含まれる。 本稿では,これらの分散の根源について考察する。 理論的な保証でEAP-IGを改善する新しい回路探索法であるCEAPは、再サンプリングのばらつきを大幅に軽減できることを示す。 さらに、テンプレートの異なるプロンプトがモデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示した。 これにより、タスク上でモデルの振る舞いを説明・制御する包括的な回路を見つけることは困難であり、無数のテンプレートで表現できるため、LLMは本質的には操縦が困難である可能性が示唆される。 よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は,この問題の解決に失敗することを示す。 非常に貧弱な不信度スコアは、測定回路の欠陥からではなく、不信度がどのように定義されるかに起因している。 不信感の大きさは、時に観察される極めて低いスコアを考慮に入れた神経機構である選択的貢献スケーリングの影響を受けている。

関連論文リスト

• Faster Probabilistic Error Cancellation [6.418044102466421]
  そこで本研究では,標準手法よりもサンプリングコストが低いPECを実現するための新しい手法を提案する。 PECを解析的にも数値的にも節約できることを示す。 また, この手法を実験的に実証し, 緩和値と理想値との良好な一致を見出した。
  論文  参考訳（メタデータ） (2025-06-04T21:38:56Z)
• Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms [35.514624827207136]
  エッジ属性パッチ(EAP: Edge Attribution patching)は、介入に対する勾配に基づく近似であり、この問題に対するスケーラブルだが不完全な解決策として現れている。 本稿では,回路のコア特性をよりよく維持することを目的とした,統合勾配付きEAP(EAP-IG)手法を提案する。 EAPを用いた回路はEAP-IGを用いた回路に比べて信頼性が低いことを示した。
  論文  参考訳（メタデータ） (2024-03-26T15:44:58Z)
• The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
  本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。 具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。 重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
  論文  参考訳（メタデータ） (2024-03-03T07:38:24Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
  本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。 汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-28T11:07:59Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。