論文の概要: Correctness Conditioning as Selection in Chain-of-Thought Faithfulness Evaluation

• arxiv url: http://arxiv.org/abs/2610.37070v1
• Date: Tue, 27 Oct 2026 11:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.577677
• Title: Correctness Conditioning as Selection in Chain-of-Thought Faithfulness Evaluation
• Title（参考訳）: Chain-of-Thought Faithfulness 評価における正当性条件の選択
• Abstract要約: 7変数構造因果モデルを用いて、正確に観測されたギャップ$= operatornameCov(A, C)/P(C=1)$ を導出する。 本研究は,算術課題における4つのサブサイクル配置を評価し,全4項目において肯定的な選択ギャップを観測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Restricting chain-of-thought (CoT) faithfulness evaluation to correctly answered instances changes the population being measured. We study this selection step in a seven-variable structural causal model and derive the exact observed gap $Δ= \operatorname{Cov}(A, C)/P(C=1)$. The model distinguishes difficulty confounding from shortcut-induced collider bias and states the conditional-independence assumption needed to express the gap through latent response propensities. A protocol review of 18 papers distinguishes answer-correctness restrictions from agreement-based selection, benchmark construction, and training-data filtering. We evaluate four sub-ceiling deployments on arithmetic tasks and observe positive selection gaps in all four. The primary GLM-5.3 run yields a +7.4 percentage-point gap ($n = 1000$, $p < 0.0001$), and pooled Cochran-Mantel-Haenszel analysis gives OR = 1.70 ($p < 10^{-6}$). An assumption-free covariance decomposition assigns 42.8% of the GLM-5.3 gap to between-stratum variation in interventionable-operation count, leaving the majority unattributed. When counterfactual compliance is observable for every instance, evaluating all traces directly estimates population faithfulness without correctness filtering.
• Abstract（参考訳）: 正しく答えられた事例に対するCoTの忠実度評価の制限は、測定対象の個体数を変化させる。 この選択ステップを7変数構造因果モデルで検討し、正確に観測されたギャップ $Δ= \operatorname{Cov}(A, C)/P(C=1)$ を導出する。 このモデルは、ショートカット誘起コライダーバイアスと相反する難易度を区別し、潜在応答確率によるギャップを表現するのに必要な条件独立性仮定を述べる。 18論文のプロトコルレビューでは、回答の正当性制限を、合意に基づく選択、ベンチマーク構築、トレーニングデータフィルタリングと区別している。 本研究は,算術課題における4つのサブサイクル配置を評価し,全4項目において肯定的な選択ギャップを観測する。 GLM-5.3の一次実行は、+7.4パーセンテージ・ポイント・ギャップ(n = 1000$, $p < 0.0001$)となり、プール化されたコクラン・マンテル・ヘンゼル解析により、OR = 1.70$p < 10^{-6}$となる。 仮定なしの共分散分解は、GLM-5.3のギャップの42.8%を介入可能操作数の層間変動に割り当て、大多数は未分散のままである。 正当性コンプライアンスがすべてのインスタンスで観測可能である場合、すべてのトレースを評価することは、正当性フィルタリングなしで直接、人口の忠実性を推定する。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Self-Repulsive Sampling for Diffusion Language Models [42.61658629762382]
  Self-Repulsion (SR) は、マスク付き拡散言語モデルのサンプルである。 パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。 投票の得票率は、主に正しい回答のより高いカバレッジから生じる。
  論文  参考訳（メタデータ） (2026-09-30T11:58:40Z)
• Observational Indistinguishability and Integrity Blind Regions in Hybrid Quantum-Classical Workflows [0.0]
  本稿では,ハイブリッド量子古典的ワークフロー整合性のためのクレーム相対的エビデンス/参照フレームワークを提案する。 観測上の不明瞭さは、有限バッチ統計ミスとは異なる構造的な盲点をもたらす。
  論文  参考訳（メタデータ） (2026-09-15T13:16:37Z)
• Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study [1.2716872085463884]
  複数のLSMサンプルに対する多数決投票は、回答の正確性を高めるために広く用いられているが、その利得は不規則に異なる。 本稿は、この失敗を定量的に分析する。
  論文  参考訳（メタデータ） (2026-08-19T10:50:15Z)
• Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation [6.047519836191728]
  有限行動ポリシークラス上でプロトコルレベルの識別可能性監査を形式化する。 監査はモデルコールをゼロにし、診断ケースを解決します。 このケースは、モデル推論の前に、どのように評価設計の妥当性を構造的に確認できるかを示す。
  論文  参考訳（メタデータ） (2026-08-13T14:49:47Z)
• When Does Permutation Instability Generalize? Independent-View Validation for Listwise LLM Reranking [0.0]
  リストワイズ言語モデルリランカは、等価な候補置換に異を唱える。 有限不安定診断は、追加のサンプリング、アグリゲーション、選択的な計算の動機付けに使用される。 有限ビュー不安定度スコアが未確認順列を予測するという主張にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2026-08-13T03:40:32Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• The leave-one-covariate-out conditional randomization test [36.9351790405311]
  条件付き独立テストは重要な問題ですが、仮定なしでは間違いなく難しいです。 Knockoffsは、このフレームワークに関連する一般的な方法論であるが、2つの大きな欠点に悩まされている。 条件付きランダム化テスト(CRT)はモデルXの下では「正しい」解であると考えられているが、通常は計算的に非効率であると見なされる。
  論文  参考訳（メタデータ） (2020-06-15T15:38:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。