論文の概要: Building Fast, Evaluating Slow: Pipeline Choices Dominate Autointerpretability Score Variance
- arxiv url: http://arxiv.org/abs/2607.19386v1
- Date: Wed, 01 Jul 2026 13:18:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.147172
- Title: Building Fast, Evaluating Slow: Pipeline Choices Dominate Autointerpretability Score Variance
- Title（参考訳）: 高速で低速なパイプライン構築:パイプライン選択が自己解釈可能性スコア変動を支配している
- Abstract要約: スパースオートエンコーダ(SAE)の相互比較は、しばしば自己解釈可能性スコアに依存する。
評価パイプラインの相違ではなく,特徴の安定な特性を反映しなければならないことを示す。
- 参考スコア（独自算出の注目度）: 16.4916822123503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-paper comparison of sparse autoencoder (SAE) interpretability often relies on autointerpretability scores. In this evaluation pipeline, a language model (LM) explains each feature, and another LM scores the explanation. For these comparisons to be meaningful, scores must reflect stable properties of the features rather than confounding aspects of the evaluation pipeline. Through systematic experiments across four metrics (simulation, detection, fuzzing, purity), two models (Pythia-160M, Apertus-8B), and four axes of methodological variation, we show that this assumption does not hold. Specifically, we find that R1) methodological variance collectively exceeds architectural variance across all metrics and tested models; R2) each metric exhibits a distinct instability profile, with detection being the most stable and fuzzing unreliable across all conditions; R3) top-k feature rankings do not stay consistent across corpus and draw conditions, masking per-feature instability behind stable mean scores; a failure that cannot be detected by monitoring explanation similarity alone. These findings suggest that cross-paper comparisons based on autointerpretability scores may reflect pipeline differences rather than architectural differences, with implications for the ongoing debate on SAE utility. More broadly, unreliable evaluation slows progress in interpretability research at a time when reliable tools for understanding AI systems are needed. To support evaluation, we contribute a variance decomposition approach, a Stability Check, and a Minimum Reporting Checklist.
- Abstract（参考訳）: スパースオートエンコーダ(SAE)の相互比較は、しばしば自己解釈可能性スコアに依存する。
この評価パイプラインでは、言語モデル(LM)がそれぞれの特徴を説明し、別のLMが説明をスコアする。
これらの比較が有意義であるためには、スコアは評価パイプラインの相違ではなく、機能の安定した特性を反映しなければならない。
4つのモデル(Pythia-160M, Apertus-8B)と4つの手法(シミュレーション, 検出, ファジリング, 純度)の系統的な実験により, この仮定が成り立たないことを示す。
具体的には、R1) の方法論的分散は、すべての指標と試験モデルのアーキテクチャ的ばらつきを総合的に超え、R2) のメトリクスは、最も安定であり、すべての条件でファジィな検出が可能であり、すべての条件において最も信頼できない、R3) トップk の特徴ランクは、コーパスとドロー条件の間で一貫性が保たれず、安定平均スコアの後方にある機能的不安定さをマスキングし、説明の類似性を監視するだけでは検出できない失敗を示す。
これらの結果から,自動解釈可能性スコアに基づくクロスペーパー比較は,設計上の違いよりもパイプラインの違いを反映している可能性が示唆された。
より広範に、信頼できない評価は、AIシステムを理解するための信頼できるツールが必要なときに、解釈可能性の研究の進捗を遅らせる。
評価を支援するため, 分散分解手法, 安定性チェック, 最小報告チェックリストを提案する。
関連論文リスト
- Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches [18.727291516223115]
Desc2Fixは、バグレポートのセマンティックアライメント、テストのトリガー、開発者による修正を測定するフレームワークである。
GPT-4o と DeepSeek-Chat を用いて,Defects4J と SWT-Bench の2,857 個のレポート・パッチを解析した。
論文 参考訳（メタデータ） (2026-07-20T22:32:23Z) - ContextShift: A Controlled Benchmark for Context Dependence in Object Detection [1.8320252176005443]
我々は、オブジェクトの外観を保ちながら、オブジェクト-コンテキスト関係を操作するベンチマークであるContextShiftを紹介する。
偽陰性は227%まで増加し,予測量は44%まで減少する。
拡張されたすべての変種は、オリジナルの画像と操作されたテストイメージの両方でデータセットのみのベースラインよりも優れています。
論文 参考訳（メタデータ） (2026-06-08T13:48:16Z) - Latent Performance Profiling of Large Language Models [47.009623327601226]
隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。
静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。
類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
論文 参考訳（メタデータ） (2026-05-28T14:41:26Z) - Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。
最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。
本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
論文 参考訳（メタデータ） (2026-04-17T06:31:29Z) - Empirical Characterization of Rationale Stability Under Controlled Perturbations for Explainable Pattern Recognition [0.876171257490837]
モデル説明の整合性を評価するための新しい指標を提案する。
我々は,SST-2感情分析データセット上で,事前学習したBERTモデルを用いて,この指標を実装した。
モデル説明における誤一致予測と矛盾を識別する能力を評価する。
論文 参考訳（メタデータ） (2026-04-06T06:05:21Z) - Feature Attribution Stability Suite: How Stable Are Post-Hoc Attributions? [0.0]
ポストホック特徴属性法は、安全クリティカルな視覚システムに広く展開されている。
本稿では,予測不変フィルタのベンチマークであるFeature Stability Suite (FASS)を紹介する。
FASSは安定性を,構造的類似性,ランク相関,トップkのJaccardオーバーラップという,3つの相補的な指標に分解する。
論文 参考訳（メタデータ） (2026-04-02T21:32:54Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - Analysis of Variational Sparse Autoencoders [1.675385127117872]
SAEアーキテクチャに変分手法を組み込むことで,特徴構造や解釈可能性が改善されるかどうかを検討する。
本稿では,変分スパースオートエンコーダ(vSAE)を導入し,決定論的ReLUゲーティングを学習したガウス後部からのサンプリングに置き換える。
以上の結果から,SAEに対する変分法の適用は,機能的構造や解釈可能性の向上には至らないことが示唆された。
論文 参考訳（メタデータ） (2025-09-26T23:09:56Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳（メタデータ） (2023-12-15T12:58:05Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。