論文の概要: Scoring Explanations Without Reading Them: Structural Shortcuts in Automated-Interpretability Evaluation Data
- arxiv url: http://arxiv.org/abs/2610.37676v1
- Date: Sat, 10 Oct 2026 20:04:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 19:58:28.426768
- Title: Scoring Explanations Without Reading Them: Structural Shortcuts in Automated-Interpretability Evaluation Data
- Title(参考訳): 読解不能なスコーリング記述:自動解釈可能性評価データにおける構造的ショートカット
- Abstract要約: 自動解釈可能性(Automated Interpretability)はスパース・オートエンコーダ機能の説明を、モデルに予測、トークン単位のトークン化、特徴が評価例に発火する場所、あるいはマークされたトークンが適合するかどうかを尋ねることによって、スコア付けする。
評価データ標準パイプラインは,説明書を読まずに評価できることがわかった。
- 参考スコア(独自算出の注目度): 0.17626455083672685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated interpretability scores an explanation of a sparse-autoencoder (SAE) feature by asking a model to predict, token by token, where the feature fires on evaluation examples or to judge whether marked tokens fit it. We find that the evaluation data standard pipelines build can be scored without reading the explanation. On Neuronpedia's stored fuzzing runs for 500 random GPT-2 small features, 91.3% of activating examples are cropped with the peak on the centre token, and a rule that says "yes" when the centre token is marked reaches balanced accuracy 0.979, against 0.838 for the stored LLM scorers (recomputed from the stored per-item verdicts, on marks rebuilt from the pipeline's code); a rule reading only the mark count reaches 0.969. The cue changes form across pipelines: current delphi always marks the same slot in its fuzzing negatives, and full-context runs mark negatives with more tokens. OpenAI's simulation benchmark lists each neuron's top-activating sequences first; a rule that predicts activity on the first five scores 0.227 in pooled correlation against 0.160 for GPT-4's published simulator (post hoc). We give closed forms for what such rules can score; show that one scorer's simulation scores are higher on stored snippets than on natural windows but not shown to be reordered; and build windows that remove the position cue, derive but do not build negatives that remove the mark cues, and separate the sequence cue by decomposition. On natural-text windows cut at random offsets, the best fixed-offset prior shared by all features scores 0.015. On them, that scorer, a typed decision model (Jev), reaches a pooled correlation of 0.331 over 49 features, against 0.013 with shuffled explanations, and an open 8B simulator with the original read-out reads the explanation there (0.194 against 0.019). Scores should be reported beside the best explanation-free rule on the same items.
- Abstract(参考訳): 自動解釈可能性(Automated Interpretability)は、スパースオートエンコーダ(SAE)機能の説明を、モデルに予測、トークン単位のトークン、特徴が評価例に発火する場所、あるいはマークされたトークンが適合するかどうかを尋ねることによって、スコア付けする。
説明書を読まなくても、標準パイプラインの評価データを取得することができることが分かりました。
Neuronpediaの格納されたファジィングは500個の無作為GPT-2の小さな特徴に対して実行され、91.3%のアクティベートされた例が中心トークンのピークで収穫され、中央トークンがマークされたときの"yes"というルールは、格納されたLCMスコアラーに対して0.979であり、3838はパイプラインのコードから再構成されたマークで更新される。
現在の delphi は常にファジィネガと同じスロットをマークし、フルコンテキストはより多くのトークンでマークネガを実行します。
OpenAIのシミュレーションベンチマークでは、まず各ニューロンのトップアクティベーションシーケンスをリストアップしている。最初の5つのスコアのアクティビティを予測するルールは、GPT-4が発行したシミュレータ(ポストホック)の0.160に対して、プール付き相関で0.227となる。
このようなルールが何をスコアリングできるかをクローズドな形式で示し、あるスコアラーのシミュレーションスコアが、天然の窓よりも保存されたスニペットよりも高く、再順序付けされていないことを示し、また、位置キューを除去するウィンドウを構築し、派生するが、負を作らないことでマークキューを除去し、分解によってシーケンスキューを分離する。
ランダムオフセットでカットされた自然文ウィンドウでは、すべての特徴で共有される最高の固定オフセットが0.015である。
その上で、入力決定モデル(Jev)であるスコアラが、シャッフルされた説明付き0.013に対して、49の特徴に対して0.331のプール相関に達し、元の読み出し付き8Bシミュレータがそこで説明を読み取る(0.019に対して0.194)。
スコアは、同じ項目で最高の説明のないルールの横で報告されるべきです。
関連論文リスト
- Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳(メタデータ) (2026-09-27T13:01:02Z) - Where a Model Sends Its Own Repeated Token [0.0]
ブラックボックスモデルの識別は、自然言語のプロンプトに対するモデルの応答を評価することで機能する。
退化した入力を受け取り、モデルがそうでないときにどこに行くのかを尋ねます。
結果は語彙全体の地図であり、2つのハーフがある。
論文 参考訳(メタデータ) (2026-09-25T12:13:31Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳(メタデータ) (2026-09-02T10:30:05Z) - Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。
テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。
しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。
我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
論文 参考訳(メタデータ) (2026-08-30T17:58:49Z) - Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。
人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
論文 参考訳(メタデータ) (2026-08-26T14:41:24Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳(メタデータ) (2026-08-26T11:36:31Z) - Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation [41.01488608247856]
アウトカム検証器は、完了した推論トレースをスコアするが、中間トークンにクレジットを割り当てない。
原始的な自己蒸留は、モデル自身のロールアウトをトレーニング専用の情報で再現することで、このギャップを埋めようとする。
スコアがより良い行動を追跡するか、フィードバック構築が比較対象を変えるか、トレーニング損失が強化されるか、という3つの質問を分離する。
論文 参考訳(メタデータ) (2026-08-10T08:18:48Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Conformal Predictor for Improving Zero-shot Text Classification
Efficiency [37.745518881553416]
NLIモデルとNSPモデルの平均推論時間をそれぞれ25.6%、22.2%削減する。
各データセットに適したCPを用いて、NLIベースのモデルとNSPベースのモデルの平均推論時間をそれぞれ25.6%、22.2%削減する。
論文 参考訳(メタデータ) (2022-10-23T05:19:50Z) - Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。
入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
論文 参考訳(メタデータ) (2021-09-12T19:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。