論文の概要: Do Language Models Trust Their Own Justifications? A Study on Functional Consistency

• arxiv url: http://arxiv.org/abs/2610.32665v1
• Date: Fri, 23 Oct 2026 14:08:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.541334
• Title: Do Language Models Trust Their Own Justifications? A Study on Functional Consistency
• Title（参考訳）: 言語モデルは自身の正当化を信頼しているか? : 機能的整合性に関する研究
• Abstract要約: 本稿では,自己整合性の原理に基づく実験的な枠組みを提案する。 モデルが特定のトークンを決定的、分離的、削除的、あるいは意味的に逆転すると、予測の体系的かつ解釈可能な変更を発生させる。 IMDBとSteamのレビューをクローズドソース(GPT-4o-mini)とオープンソースLLM(Gemma3, Granite8B, DeepSeek)の両方で実施する。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have been widely adopted in text classification tasks, where they not only output class predictions but also generate explanations that highlight the tokens deemed most relevant for reaching the predicted label. Yet it remains unclear whether these highlighted elements are behaviorally consistent with the model's own predictions under targeted interventions, which we refer to as functional auto-consistency. While much of the literature evaluates the textual plausibility of such explanations, few studies assess their functional consistency with the model's actual behavior. In this work, we propose an experimental framework based on the principle of auto-consistency: if a model identifies certain tokens as decisive, then isolating, removing, or semantically inverting them should produce systematic and interpretable changes in its predictions. We operationalize this evaluation through sufficiency, comprehensiveness, and counterfactuality metrics, and conduct experiments on IMDB and Steam reviews across both closed-source (GPT-4o-mini) and open-source LLMs (Gemma3, Granite8B, DeepSeek). Results show that GPT-4o-mini follows the expected progression across all metrics, Gemma3 and Granite8B maintain coherence under sufficiency but lose consistency under more demanding interventions, while DeepSeek variants display structural deviations, either failing to preserve sufficiency or overreacting under comprehensiveness and counterfactuality. These findings show that explanation reliability varies across LLM families and scales, with smaller models displaying contradictions and larger ones exhibiting over-sensitivity. By combining sufficiency, comprehensiveness, and counterfactuality, our approach provides a systematic methodology for assessing the functional consistency of LLM self-explanations.
• Abstract（参考訳）: 大規模言語モデル(LLM)はテキスト分類タスクにおいて広く採用されており、クラス予測を出力するだけでなく、予測されたラベルに最も関連していると考えられるトークンをハイライトする説明を生成する。 しかし、これらの強調された要素が、対象とする介入の下でのモデル自身の予測と行動的に一致しているかどうかは不明であり、機能的自己整合性(functional auto-consistency)と呼ぶ。 文献の多くはそのような説明のテキスト的妥当性を評価するが、モデルの実際の振る舞いと機能的整合性を評価する研究はほとんどない。 本研究では,自己整合性の原理に基づく実験的なフレームワークを提案する。あるトークンを決定的,分離的,削除的,あるいは意味的に逆転させるモデルが,予測の体系的,解釈可能な変更を生成すべきである。 我々は,この評価を,満足度,包括性,反ファクトリティの指標を用いて運用し,IMDBとSteamのレビューにおいて,クローズドソース(GPT-4o-mini)とオープンソースLLM(Gemma3,Granite8B,DeepSeek)の双方で実施する実験を行った。 Gemma3とGranite8Bは整合性を維持するが、より要求の多い介入の下では整合性を失う一方、DeepSeekの変異体は構造的偏差を示す。 これらの結果から, LLMファミリーやスケールによって説明信頼性が異なり, 矛盾を示すモデルが小さく, 過敏性を示すモデルがより大きいモデルであることが示唆された。 本手法は, 十分性, 包括性, 反事実性を組み合わせることで, LLM自己説明機能の整合性を評価するための体系的な方法論を提供する。

関連論文リスト

• VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation [50.26484893435373]
  大規模言語モデル(LLM)の現在の値アライメント評価は、出力コンプライアンスに大きく依存している。 本稿では,価値の一貫性を3つのベンチマークスイートにまとめる役割駆動型データ構築フレームワークであるVALCONを提案する。 我々の研究は、価値の一貫性を異なるアライメントの次元として確立し、完全な評価・分析・軽減パイプラインを提供する。
  論文  参考訳（メタデータ） (2026-10-15T05:52:52Z)
• Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases [0.0]
  大規模言語モデル(LLM)の制御行動評価のための分析的正確なフレームワークを提案する。 因果的主因果的および相互作用的効果を系統的に分離するために,非構造的プロンプトを完全クロスファクター実験に置き換える。 我々は、これらのPMFを解析的に処理するために、多変量順序のコンセンサスメトリックと分布ANOVAを導出する。 当社の枠組みは,5つのLDMを対象とした消費者倫理中心主義のケーススタディを用いて検証し,我々のアプローチが,ベンチマークを不明瞭に集約する全体的国家偏見をいかに分離するかを実証した。
  論文  参考訳（メタデータ） (2026-08-11T05:20:06Z)
• Position: It's Time to Optimize LLMs for Self-Consistency [50.68587056599734]
  多くの重要な障害は、事前および後トレーニングパイプラインの言語モデルに持続する。 これらの失敗は、パイプラインのすべての側面に浸透するモデリングの前提から生じます。 これらの失敗を理解するためのフレームワークとして,自己整合性を提案する。
  論文  参考訳（メタデータ） (2026-07-31T19:16:53Z)
• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• Context-Adaptive Requirements Defect Prediction through Human-LLM Collaboration [1.4499356176178066]
  本稿では,欠陥予測を静的な分類タスクではなく適応プロセスとして扱うHuman-LLM Collaboration(HLC)アプローチを提案する。 メルセデス・ベンツの要求条件である1,266のQuREベンチマークの弱い単語の匂いを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2026-01-05T10:00:14Z)
• Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks [0.0]
  本稿では、説明の完全性のためのRAS-Reasoning Alignmentを紹介する。 我々は,広く使用されている4つのテキスト分類データセット,WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONSを分析した。 正解予測はサポート特徴のカバレッジが高く,正解予測は矛盾する特徴のカバレッジの増大と関連していることを示す。
  論文  参考訳（メタデータ） (2025-10-23T20:22:22Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。