Fugu-MT 論文翻訳(概要): Did I Faithfully Say What I Thought? Bridging the Gap Between Neural Activity and Self-Explanations in Large Language Models

論文の概要: Did I Faithfully Say What I Thought? Bridging the Gap Between Neural Activity and Self-Explanations in Large Language Models

arxiv url: http://arxiv.org/abs/2506.09277v3
Date: Thu, 02 Oct 2025 19:18:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-06 14:21:29.790187
Title: Did I Faithfully Say What I Thought? Bridging the Gap Between Neural Activity and Self-Explanations in Large Language Models
Title（参考訳）: 自分がどう思うか、私は熱心に話したか? 大規模言語モデルにおける神経活動と自己説明のギャップを埋める
Authors: Milan Bhan, Jean-Noel Vittaut, Nicolas Chesneau, Sarath Chandar, Marie-Jeanne Lesot,
Abstract要約: 大きな言語モデル(LLM)は、その答えを正当化するために、もっともらしい自由テキストの自己説明を生成することができる。本稿では,LLM自由テキスト自己説明の忠実度を測定するフレキシブルなフレームワークであるNeuroFaithを提案する。
参考スコア（独自算出の注目度）: 14.636536897933786
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Large Language Models (LLMs) can generate plausible free text self-explanations to justify their answers. However, these natural language explanations may not accurately reflect the model's actual reasoning process, indicating a lack of faithfulness. Existing faithfulness evaluation methods rely primarily on behavioral tests or computational block analysis without examining the semantic content of internal neural representations. This paper proposes NeuroFaith, a flexible framework that measures the faithfulness of LLM free text self-explanation by identifying key concepts within explanations and mechanistically testing whether these concepts actually influence the model's predictions. We show the versatility of NeuroFaith across 2-hop reasoning and classification tasks. Additionally, a linear faithfulness probe based on NeuroFaith is developed to detect unfaithful self-explanations from representation space and improve faithfulness through steering. NeuroFaith provides a principled approach to evaluating and enhancing the faithfulness of LLM free text self-explanations, addressing critical needs for trustworthy AI systems.
Abstract（参考訳）: 大きな言語モデル(LLM)は、その答えを正当化するために、もっともらしい自由テキストの自己説明を生成することができる。しかし、これらの自然言語の説明は、モデルの実際の推論過程を正確に反映していない可能性があり、忠実性の欠如を示している。既存の忠実度評価法は主に、内部神経表現の意味的内容を調べることなく、行動検査や計算ブロック分析に頼っている。本稿では,LLM自由テキストの自己説明の忠実度を測定するフレキシブルなフレームワークであるNeuroFaithを提案する。 2ホップ推論および分類タスクにおけるNeuroFaithの汎用性を示す。さらに、NeuroFaithに基づく線形忠実度プローブを開発し、表現空間からの不誠実な自己説明を検出し、ステアリングによる忠実度を向上させる。 NeuroFaithは、LLMの自由テキストの自己説明の忠実さを評価し、向上するための原則化されたアプローチを提供し、信頼できるAIシステムに対する重要なニーズに対処する。

関連論文リスト

Self-Critique and Refinement for Faithful Natural Language Explanations [15.04835537752639]
本稿では,自然言語解説の自己批判と再定義について紹介する。このフレームワークは、モデルが自身の説明の忠実さを改善することを可能にする。 SR-NLEは不誠実度を著しく低下させる。
論文参考訳（メタデータ） (2025-05-28T20:08:42Z)
Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
論文参考訳（メタデータ） (2025-05-27T16:24:02Z)
Towards Logically Consistent Language Models via Probabilistic Reasoning [14.317886666902822]
大規模言語モデル(LLM)は、自然言語理解および生成タスクのための有望な場所である。 LLMは、非現実的な情報を生成し、世界の信念を推論するよう促されたときに矛盾する傾向がある。我々は,LLMが事実やルールの集合という形で,外部知識と整合性を持つように教える学習目標を導入する。
論文参考訳（メタデータ） (2024-04-19T12:23:57Z)
Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
論文参考訳（メタデータ） (2024-02-18T03:10:39Z)
Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
論文参考訳（メタデータ） (2024-02-14T15:52:42Z)
FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
論文参考訳（メタデータ） (2024-02-07T09:09:14Z)
CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文参考訳（メタデータ） (2023-11-29T08:29:54Z)
Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。生成したコンテンツの正確性と適切性に関する懸念が続いている。現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
論文参考訳（メタデータ） (2023-10-03T04:56:12Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
Faithfulness Tests for Natural Language Explanations [87.01093277918599]
ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
論文参考訳（メタデータ） (2023-05-29T11:40:37Z)
Benchmarking Faithfulness: Towards Accurate Natural Language Explanations in Vision-Language Tasks [0.0]
自然言語の説明(NLE)は、モデルの意思決定を容易に理解可能な方法でコミュニケーション可能にすることを約束する。現在のモデルは説得力のある説明をうまく生成するが、NLEが実際にモデルの推論過程をいかにうまく表現しているかは未解決の問題である。帰属相似性(Atribution-Similarity)、NLE-Sufficiency(NLE-Sufficiency)、NLE-Comprehensiveness(NLE-Comprehensiveness)の3つの忠実度指標を提案する。
論文参考訳（メタデータ） (2023-04-03T08:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。