論文の概要: Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

• arxiv url: http://arxiv.org/abs/2603.20172v2
• Date: Mon, 23 Mar 2026 21:10:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 12:42:17.584792
• Title: Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation
• Title（参考訳）: LLMチェイン・オブ・サート評価における分類器感度の計測方法に依拠する忠実度の測定
• Abstract要約: 連鎖忠実性に関する最近の研究は、単一集合数について報告している。 本論文は、忠実性はモデルの客観的かつ測定可能な性質ではないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on chain-of-thought (CoT) faithfulness reports single aggregate numbers (e.g., DeepSeek-R1 acknowledges hints 39% of the time), implying that faithfulness is an objective, measurable property of a model. This paper provides evidence that it is not. Three classifiers (a regex-only detector, a regex-plus-LLM pipeline, and a Claude Sonnet 4 judge) are applied to 10,276 influenced reasoning traces from 12 open-weight models spanning 9 families and 7B to 1T parameters. On identical data, these classifiers produce faithfulness rates of 74.4%, 82.6%, and 69.7%. Per-model gaps range from 2.6 to 30.6 percentage points; all pairwise McNemar tests are significant (p < 0.001). The disagreements are systematic: Cohen's kappa ranges from 0.06 ("slight") for sycophancy hints to 0.42 ("moderate") for grader hints, and the asymmetry is pronounced: for sycophancy, 883 cases are classified as faithful by the pipeline but unfaithful by the Sonnet judge, while only 2 go the other direction. Classifier choice can also reverse model rankings: Qwen3.5-27B ranks 1st under the pipeline but 7th under Sonnet; OLMo-3.1-32B moves from 9th to 3rd. Different classifiers operationalize faithfulness at different levels of stringency (lexical mention versus epistemic dependence), yielding divergent measurements on the same behavior. These results indicate that published faithfulness numbers cannot be meaningfully compared across studies using different classifiers, and that future evaluations should report sensitivity ranges across multiple classification methodologies.
• Abstract（参考訳）: チェーン・オブ・思想(CoT)の忠実性に関する最近の研究は、単一集合数(例えば、DeepSeek-R1は、その時間の39%を示唆している)を報告しており、忠実性はモデルの客観的で測定可能な性質であることを示唆している。 この論文はそうではないという証拠を提供する。 3つの分類器 (regex-only detector, regex-plus-LLM pipeline, and a Claude Sonnet 4 judge) を10,276に応用し、9つのファミリーと7Bから1Tパラメータにまたがる12のオープンウェイトモデルから導かれた推論トレースを解析した。 同一のデータでは、これらの分類器の忠実度は74.4%、82.6%、69.7%である。 モデルごとのギャップは2.6から30.6ポイントであり、全てのペアのマクネマール試験は有意である(p < 0.001)。 コーエンのカッパは、シコファンシーのヒントの0.06 ("slight") から、グレーダーのヒントの0.42 ("moderate") までの範囲があり、非対称性は発音される。 Qwen3.5-27Bはパイプラインで1位、Sonnetでは7位、OLMo-3.1-32Bは9位から3位である。 異なる分類器は、異なるレベルの寛大さ(語彙的言及と疫学的依存)で忠実さを運用し、同じ振る舞いに関する異なる測定結果をもたらす。 これらの結果は, 異なる分類器を用いた研究において, 公表された忠実度は有意に比較できないこと, 今後の評価は, 複数の分類手法にまたがる感度範囲を報告するべきであることを示唆している。

関連論文リスト

• Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
  大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。 テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。 しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。 我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
  論文  参考訳（メタデータ） (2026-08-30T17:58:49Z)
• Which Values Do LLMs Confuse? A Schwartz-Based Recognition Study [32.505127447635864]
  シュワルツの10つの基本値に対するトップ1認識の制御について検討した。 我々は,21の命令調整LDM動作を定位応答プロトコルで評価する。 モデルはしばしば正しいモチベーション領域を見つけ、近い選択肢を不安定にランク付けする。
  論文  参考訳（メタデータ） (2026-07-22T15:22:14Z)
• Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories [0.0]
  LLMベースのコーディングエージェントは、時には自身の推論で問題を認識し、いずれにせよ前進する。 我々はClaude Sonnet 4.6のジャッジを構築し、完全なトラジェクトリとフラグがパターンの発生する場所にまたがる。 Qwen3.5-35B-A3Bのバックボーンを用いて44個の終端ベンチ2軌道上で評価を行った。
  論文  参考訳（メタデータ） (2026-06-05T22:52:16Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• ATLAS: All-round Testing of Long-context Abilities across Scales [42.83200405769639]
  ATLASは、長文評価を長さ依存の能力プロファイルとして再定義するベンチマークフレームワークである。 ATLASは、(i)アプリケーションワークロードから基礎的な操作を分離する階層化された分類法、(ii)固定された8K-1Mグリッド上のスコア長曲線を統合するAUCスコア、(iii)不均衡なプロファイルをペナルライズする分類カテゴリー上の調和平均集計であるATLAScoreの3つの方法論に貢献する。
  論文  参考訳（メタデータ） (2026-05-27T07:33:47Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
  一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。 マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。 統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
  論文  参考訳（メタデータ） (2026-05-04T04:13:00Z)
• Lie to Me: How Faithful Is Chain-of-Thought Reasoning in Reasoning Models? [0.0]
  CoT(Chain-of- Thought)推論は、安全クリティカルなデプロイメントにおける大規模言語モデルの透明性メカニズムとして提案されている。 本研究では,9つの建築家族を対象としたオープンウェイト推論モデルを498の質問に対して検討した。 41,832回の推論では、全体の忠実度は39.7% (Seed-1.6-Flash) から89.9% (DeepSeek-V3.2- Speciale) まで変化している。
  論文  参考訳（メタデータ） (2026-03-23T21:21:37Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• An Auditable Pipeline for Fuzzy Full-Text Screening in Systematic Reviews: Integrating Contrastive Semantic Highlighting and LLM Judgment [0.0]
  フルテキストのスクリーニングは、体系的なレビューの大きなボトルネックです。 私たちは、ファジィな決定問題として包摂/排除を再設計する、スケーラブルで監査可能なパイプラインを提示します。
  論文  参考訳（メタデータ） (2025-08-17T17:41:50Z)
• CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
  人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。 この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。 逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
  論文  参考訳（メタデータ） (2024-10-30T15:06:44Z)
• Chain-of-Thought Unfaithfulness as Disguised Accuracy [0.0]
  CoT(Chain-of-Thought)世代は、大きな言語モデルの内部計算(LLM)と一致している。 モデルが回答を生成するためのCoTへの依存度を測定する指標を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:23:53Z)
• Norm-Scaling for Out-of-Distribution Detection [6.309365332210523]
  アウト・オブ・ディストリビューション(OoD)入力は、データセットの真の基盤分布に属さない例である。 本稿では,各クラスごとに個別にロジットを正規化するノルムスケーリングを提案する。 AUROCは9.78%,AUPRは5.99%,FPR95は33.19%改善した。
  論文  参考訳（メタデータ） (2022-05-06T22:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。