論文の概要: Counterfactual Simulatability of LLM Explanations for Generation Tasks

• arxiv url: http://arxiv.org/abs/2505.21740v1
• Date: Tue, 27 May 2025 20:29:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.277822
• Title: Counterfactual Simulatability of LLM Explanations for Generation Tasks
• Title（参考訳）: 生成作業におけるLCM記述の擬似性
• Authors: Marvin Limpijankit, Yanda Chen, Melanie Subbiah, Nicholas Deas, Kathleen McKeown,
• Abstract要約: モデルがそれらの振る舞いを正確に説明できる能力は、特にハイテイクな設定で重要である。 因果的シミュラビリティ(英: Counterfactual simulatability)とは、ユーザが関連する反事実に対してモデルの出力を推測できる説明法である。 本研究の結果から, 知識に基づくタスクよりも, スキルベースのタスクの方が, 対実的シミュラビリティの評価に適している可能性が示唆された。
• 参考スコア（独自算出の注目度）: 15.969128610152586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs can be unpredictable, as even slight alterations to the prompt can cause the output to change in unexpected ways. Thus, the ability of models to accurately explain their behavior is critical, especially in high-stakes settings. One approach for evaluating explanations is counterfactual simulatability, how well an explanation allows users to infer the model's output on related counterfactuals. Counterfactual simulatability has been previously studied for yes/no question answering tasks. We provide a general framework for extending this method to generation tasks, using news summarization and medical suggestion as example use cases. We find that while LLM explanations do enable users to better predict LLM outputs on counterfactuals in the summarization setting, there is significant room for improvement for medical suggestion. Furthermore, our results suggest that the evaluation for counterfactual simulatability may be more appropriate for skill-based tasks as opposed to knowledge-based tasks.
• Abstract（参考訳）: LLMは予測不可能であり、プロンプトへのわずかな変更でさえ、予期しない方法で出力が変化する可能性がある。 したがって、モデルがそれらの振る舞いを正確に説明できる能力は、特に高精度な設定において重要である。 説明を評価するための1つのアプローチは、偽ファクトのシミュラビリティ(英語版)であり、その説明によってユーザーが関連する偽ファクトのアウトプットを推測できるかどうかである。 因果的シミュラビリティは、以前、イエス/ノー質問応答タスクについて研究されてきた。 本稿では,ニュース要約と医学的提案を事例として,本手法をタスク生成に拡張するための一般的なフレームワークを提案する。 LLMの説明は, 要約設定において, LLMのアウトプットをより正確に予測できるが, 医学的提案に対する改善の余地は大きい。 さらに,本研究の結果から,知識に基づくタスクよりも,スキルベースのタスクの方が,対実的シミュラビリティの評価に適している可能性が示唆された。

関連論文リスト

• Can LLMs Simulate Personas with Reversed Performance? A Benchmark for Counterfactual Instruction Following [12.668201122427101]
  大規模言語モデル(LLM)は、仮想環境におけるペルソナのシミュレートに広く使われている。 現状のLLMでさえ、逆性能のペルソナをシミュレートできないことを示す。
  論文  参考訳（メタデータ） (2025-04-08T22:00:32Z)
• Eliciting Causal Abilities in Large Language Models for Reasoning Tasks [14.512834333917414]
  我々は,LLMが高品質で低品質な観測データを生成することができる自己因果的指導強化法(SCIE)を導入する。 SCIEでは、命令は治療として扱われ、自然言語を処理するためにテキストの特徴が使用される。 提案手法は,プロンプトのトレーニングコストを削減し,推論性能を向上させる命令を効果的に生成する。
  論文  参考訳（メタデータ） (2024-12-19T17:03:02Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。