論文の概要: Diagnosing Correctness Probes under Self-Judgement Confounding

• arxiv url: http://arxiv.org/abs/2607.16799v1
• Date: Sat, 18 Jul 2026 12:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.260992
• Title: Diagnosing Correctness Probes under Self-Judgement Confounding
• Title（参考訳）: 自己判断条件下での正当性プローブの診断
• Abstract要約: 隠れ状態の読み出しは言語モデル出力が正しいかどうかを予測することができるが、客観的正当性(OC)は通常、モデル自身の自己判断(SJ)に一致する。 我々は、OCとSJが反対の読み出し順序を予測する競合ケースを構築する。 因子的SJ-およびOC関連方向を推定し、数学的推論と事実的リコールの間でそれらの極性を評価する。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hidden-state readouts can predict whether language-model outputs are correct, but objective correctness (OC) usually agrees with the model's own self-judgement (SJ), leaving the decoded signal semantically ambiguous. We construct conflict cases in which OC and SJ predict opposite readout orderings. On high-confidence disagreements, conventional correctness-labelled contrasts often rank incorrect/self-endorsed responses above correct/self-rejected responses, following SJ rather than OC. We estimate factorial SJ- and OC-associated directions and evaluate their polarity across mathematical reasoning and factual recall. Across four instruction-tuned models up to 14B parameters, the SJ-associated direction transfers above chance in both cross-domain directions for every model, whereas the OC-associated direction has a below-chance point estimate for the expected OC ordering in every corresponding condition. This transfer asymmetry develops across middle-to-late layers, persists under answer-likelihood, sequence-length, and null-direction controls, and extends to MMLU and binary TruthfulQA without target-domain direction fitting. Across the studied models and diagnostic subsets, the most reliably transferable component preserves SJ-associated polarity. Transferability alone therefore does not establish objective-correctness semantics.
• Abstract（参考訳）: 隠れ状態の読み出しは、言語モデルの出力が正しいかどうかを予測することができるが、客観的正当性(OC)は通常、モデル自身の自己判断(SJ)と一致し、復号された信号は意味的に曖昧である。 我々は、OCとSJが反対の読み出し順序を予測する競合ケースを構築する。 高信頼の相違について、従来の正当性ラベル付きコントラストは、OCではなくSJに従って、正/自己拒否応答より上位の不正/自己承認応答をランク付けすることが多い。 因子的SJ-およびOC関連方向を推定し、数学的推論と事実的リコールの間でそれらの極性を評価する。 命令調整された4つのモデルから最大14Bパラメータまで、SJ関連方向は各モデルに対して両ドメイン方向の確率以上を伝達する一方、OC関連方向は各条件で予測されるOC順序の時間以下を推定する。 この転移非対称性は、中間から後期の層にまたがって発達し、応答様、シーケンス長、ヌル方向制御の下で持続し、ターゲット領域の方向調整なしでMMLUとTruthfulQAに拡張する。 研究されたモデルと診断サブセット全体で、最も確実に伝達可能なコンポーネントはSJ関連極性を保存する。 したがって、伝達可能性だけでは客観的な正当性セマンティクスを確立しない。

関連論文リスト

• Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
  クローズド形式のコントラストであるRelation-Orbitを導入する。 VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
  論文  参考訳（メタデータ） (2026-09-15T11:19:03Z)
• CARD: Calibration via Agreement in Reverse Diffusion for Out-of-Domain MRI Segmentation [14.844162865265673]
  そこで我々は,不一致の時間的集合を全クラスにわたって1ピクセルあたりの温度場にマッピングし,セグメント化ができない間に信頼度が変化するようにCARDを提案する。 心臓、前立腺、脳のMRIシフトによって、CARDは各設定において最強のベースラインと比較した場合、49の45のキャリブレーション誤差を低下させる。
  論文  参考訳（メタデータ） (2026-08-26T07:23:08Z)
• Why Does the Future Branch? Identifiable Closure Tests for Stochastic Physical World Models [0.0]
  ClosurePairsは、繰り返し発生する障害を伴う互換性のあるマイクロステートを横断します。 ソースの属性は確実に回復する。 非線形相互作用ベンチマークにおける等予算分解誤差を低減する。
  論文  参考訳（メタデータ） (2026-08-01T11:07:24Z)
• Auditing Question-Order Effects in Large Language Models with the QQ Equality: Mechanism Characterization and a Saturation Caveat [4.07636450847048]
  人間の調査回答者はQQ(量子質問)平等を満たす質問順序効果を示す。 自己回帰的大言語モデルの逐次判断のための監査基準としてQQ等式を開発する。
  論文  参考訳（メタデータ） (2026-07-19T12:22:06Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading [0.6916773850242582]
  順序に依存しない言語モデル(OALM)は任意の条件セットの下でマスク付きトークンを予測するために訓練される。 学習条件はコヒーレントな関節分布の正確な分解ではないことを示す。 信頼性トレースの形状に基づく相補的診断を提案する。
  論文  参考訳（メタデータ） (2026-05-31T04:25:36Z)
• Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions [8.894428198928333]
  本稿では,凍結視覚モデルにおける突発的概念を識別するためのバイアスラベルのないポストホック法を提案する。 Colored MNIST と Waterbirds では、この手法は既知のスプリアスキューに沿った概念を復元する。 推論時間における上位概念の抑制は、最悪のグループ精度を最大17.9ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-27T17:39:10Z)
• When Individually Calibrated Models Become Collectively Miscalibrated [3.556355987197792]
  本研究では,個別に調整した予測器が戦略的に相互作用した場合に集団的に誤判定されることを示す。 正の相関関係を持つブライアスコアに基づくアグリゲーションでは、各エージェントの個別に最適なレポートは、正のクラス確率を体系的に過小評価する。 対照的に、VCGベースのアグリゲーションは、限界貢献に報いることでインセンティブを調整し、支配的な戦略的なインセンティブ互換性とほぼ最適のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T05:25:16Z)
• FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
  CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。 我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。 FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
  論文  参考訳（メタデータ） (2026-04-12T15:35:08Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。