論文の概要: Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization

• arxiv url: http://arxiv.org/abs/2605.24960v1
• Date: Sun, 24 May 2026 09:16:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.546746
• Title: Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization
• Title（参考訳）: コンテクストとパラメトリック・オブ・サード・チェーンの相互作用を最適化した検討
• Authors: Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein,
• Abstract要約: CoT(Chain-of-Thought)の忠実さは2つの相反するパラダイムの下で評価される。 モデルを忠実度パラダイムに最適化するための統一された嗜好アライメントインターフェースであるFaithMateを提案する。
• 参考スコア（独自算出の注目度）: 41.908827893947525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) faithfulness, i.e., whether CoTs genuinely reflect large language models' (LLM) underlying behavior, is typically evaluated under two disjoint paradigms: contextual faithfulness, measured by perturbing the input or CoT trace, and parametric faithfulness, assessed by intervening on a model's parametric knowledge. Yet prior work compares them only descriptively. We fill this gap by proposing FaithMate, a unified preference-alignment interface for optimizing models towards either faithfulness paradigm. It enables us to investigate the interplay between the two paradigms, examining whether and to what extent faithfulness gains generalize within and across paradigms. Across three models, two datasets, and six faithfulness metrics, we find that the two paradigms are positively coupled, yet asymmetric: optimizing towards parametric faithfulness yields consistent gains across both paradigms, whereas the contextual counterpart delivers more variable gains. Within the contextual paradigm, faithfulness gains on one metric do not consistently transfer to others, implying that existing contextual metrics capture disjoint facets of faithfulness and exposing inherent trade-offs. These findings imply that CoT faithfulness is not a monolithic objective and therefore requires multifaceted optimization and evaluation.
• Abstract（参考訳）: CoT(Chain-of-Thought)の忠実さ、すなわち、CoTが大きな言語モデル(LLM)を真に反映しているかどうかは、典型的には2つの相反するパラダイムで評価される: 入力またはCoTトレースを摂動することによって測定される文脈的忠実性と、モデルのパラメトリック知識を介入することによって評価されるパラメトリック忠実である。 しかし、事前の作業は、それらを記述的にのみ比較する。 このギャップを埋めるために、モデルを忠実度パラダイムに最適化するための統一された優先順位調整インターフェースであるFaithMateを提案する。 これにより、2つのパラダイム間の相互作用を調査し、パラダイム内およびパラダイム間の信頼度がどの程度高まっていくかを調べることができる。 3つのモデル、2つのデータセット、6つの忠実度測定値から、2つのパラダイムは正に結合されているが非対称であることが分かる。 文脈的パラダイムの中では、ある計量に対する忠実さの獲得は、常に他への移動ではなく、既存の文脈的メトリクスが不一致な忠実さの面を捉え、固有のトレードオフを露呈することを意味している。 これらの結果から,CoT忠実度はモノリシックな目的ではなく,多面的最適化と評価が必要であることが示唆された。

関連論文リスト

• Faithfulness Metrics Don't Measure Faithfulness: A Meta-Evaluation with Ground Truth [24.21103008618097]
  思考の連鎖(CoT)は、大規模言語モデルの解釈と監査行動の中心となっている。 ステップレベルとCoTレベルの両方で、地道忠実度ラベルを出力する自動ラベリングパイプラインを開発した。 実験の結果,ほとんどの測定値が近い確率で動作し,予測バイアスが強く,CoTが長くなると劣化することがわかった。
  論文  参考訳（メタデータ） (2026-05-24T12:57:01Z)
• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• ConMatch: Semi-Supervised Learning with Confidence-Guided Consistency Regularization [26.542718087103665]
  本稿では,ConMatchと呼ばれる擬似ラベルの信頼度によって重み付けされた画像の2つの強化されたビューから,モデルの予測間の一貫性の正則化をインテリジェントに活用する,新しい半教師付き学習フレームワークを提案する。 提案手法に対するConMatchの有効性を実証する実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-08-18T04:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。