論文の概要: Decodability Is Not Validity: Evaluating Nuisance Sensitivity in Language Model Concept Probes

• arxiv url: http://arxiv.org/abs/2611.07805v1
• Date: Thu, 05 Nov 2026 10:47:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.659408
• Title: Decodability Is Not Validity: Evaluating Nuisance Sensitivity in Language Model Concept Probes
• Title（参考訳）: 可逆性は妥当性ではない:言語モデル概念プローブにおけるニュアンス感度の評価
• Abstract要約: 2つの概念プローブは、言語モデルの隠された状態から概念を予測するのに等しく正確である。 この効果は探査機の訓練データに従っており、目標との自然な関係ではない。
• 参考スコア（独自算出の注目度）: 1.13929347852822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two concept probes can be equally accurate at predicting a concept from a language model's hidden states while their scores contain different mixtures of the target concept and a correlated nuisance attribute. In four target--nuisance settings (two aspect sentiments in CEBaB; occupation and gender in BiasBios; Amazon review sentiment with negation, and with first-person framing), two LLMs, and a population of concept extractors, we compare decodability with discriminant evidence: the score's dependence on the nuisance at fixed target, and its response to input edits intended to change only the nuisance, filtered by two LLM judges and compared against placebo edits. Under correlated training data, extractors that are statistically equivalent in held-out AUROC differ up to several-fold in nuisance sensitivity in three of the four settings, and decodability is not a reliable proxy for it: their rank correlation changes sign across settings. The effect follows the probe's training data, not the nuisance's natural association with the target: first-person framing, unrelated to sentiment in natural reviews, is absorbed at least as much as negation, which co-occurs with negative sentiment, and decorrelated training removes the systematic effect. Selecting extractors with nuisance-aware development diagnostics, which need nuisance labels but no counterfactuals, lowers counterfactual nuisance sensitivity wherever the default choice is sensitive, at a small accuracy cost. Concept measurements should be validated, not just decoded.
• Abstract（参考訳）: 2つの概念プローブは言語モデルの隠れ状態から概念を予測するのに等しく正確であり、それらのスコアは対象概念の異なる混合と相関したニュアンス属性を含む。 4つの目標設定(CEBaBでは2つの側面感、BiasBiosでは2つの側面感、Amazonでは否定と1人のフレーミングによる評価感、概念抽出器の集団)において、2つのLCMと1つの概念抽出器を比較した。 相関トレーニングデータでは、4つのセッティングのうち3つのセッティングにおいて数倍のニュアンス感度で統計的に等価な抽出器が異なり、デオードビリティは信頼性の高いプロキシではない。 ファースト・パーソン・フレーミングは、自然レビューにおける感情とは無関係であり、否定的感情と共起する否定と同様に吸収され、非相関的な訓練は、体系的な効果を除去する。 ニュアンスラベルを必要とせず、偽造品を含まないニュアンス対応開発診断装置を選択すれば、デフォルト選択が敏感な場合にも、少ない精度で、偽造ニュアンス感度を低下させることができる。 概念測定は、単に復号化するのではなく、検証されるべきである。

関連論文リスト

• Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation [62.68603541512519]
  大規模言語モデルにおける選択制御の体系的失敗を同定する。 ターゲット属性を変更することで、特定されていない非ターゲット属性に対する応答もシフトする。 非ターゲット属性を未特定のまま残したり、指向性や中立性を宣言する3状態診断を運用する。
  論文  参考訳（メタデータ） (2026-09-28T12:34:21Z)
• Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
  証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。 我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
  論文  参考訳（メタデータ） (2026-09-27T13:01:02Z)
• Off-Target Effects of Response-Style Alignment in a Korean 27B Language Model [2.8678936590409028]
  本研究の目的は,不明瞭な社会的質問の棄却と証券ガイダンスの未公表の2つの行動を測定することである。 一致したターゲットフォームコントロールは、回答の妥当性がトレーニング対象に依存していることを示し、プロンプトセットやレシピのみに依存しない。
  論文  参考訳（メタデータ） (2026-09-10T09:23:04Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• When Hard Negatives Hurt: Bridging the Generative-Discriminative Gap in Hard Negative Synthesis for Retrieval [45.5843471557695]
  比較学習に生成した負を鼻で組み込むことは、検索性能を劣化させることが多いことを示す。 本分析では, 識別非依存型生成とソース依存型ショートカットの2つの複合的障害モードを明らかにした。 このギャップを埋めるために、2つの主加群からなるCausalNegを提案する。
  論文  参考訳（メタデータ） (2026-05-31T15:48:30Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。