論文の概要: When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness
- arxiv url: http://arxiv.org/abs/2608.16627v1
- Date: Mon, 17 Aug 2026 14:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.744931
- Title: When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness
- Title（参考訳）: 説明は文脈学習に役立つのか? : 自然言語説明型と忠実度の比較研究
- Abstract要約: 自然言語説明 (NLE) は、文脈内学習 (ICL) における入力として使われることが多い。
NLEの異なるタイプが、説明強化プロンプトの下流モデル性能に与える影響について、まだ不明である。
ICL設定で使用する場合、NLEソース(外部LLMによって生成される自己生成説明書)とNLE選択がNLEの下流ユーティリティに与える影響について検討する。
- 参考スコア（独自算出の注目度）: 45.5827385095586
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language explanations (NLEs) are increasingly used as inputs, for example, as few-shot rationales that influence model behavior in in-context learning (ICL). However, it remains unclear how different types of NLEs compare in their effects on downstream model performance in explanation-augmented prompting. Therefore, we provide a comparative evaluation across six benchmarks and four instruction-tuned models, studying how NLE source (human-written when available, self-generated explanations, generated by an external LLM) and NLE selection (random vs faithfulness-based filtering) affect downstream utility of NLEs when used in ICL settings. Our extensive evaluation shows that, on classification-style benchmarks, adding NLEs to few-shot prompts often improves accuracy over few-shot prompting without explanations; among NLE sources, externally generated LLM-NLEs often provide strong downstream utility and remain competitive with human rationales where both are available, whereas self-NLEs are more sensitive to the selection strategy. On math reasoning, the effects are more model- and source-dependent. We further show that faithfulness-based selection of self-NLEs yields small average gains overall, but can improve or reduce performance depending on the metric, task, and model. Different faithfulness metrics can disagree substantially, affecting which self-NLE examples are selected and their downstream predictive utility. Robustness tests with randomly swapped and out-of-distribution rationales indicate partial robustness, suggesting that semantic alignment contributes to performance gains. Overall, our results provide insights for selecting and reporting explanations that influence model behavior in practical prompting pipelines.
- Abstract（参考訳）: 自然言語の説明(NLE)は、例えば、文脈内学習(ICL)におけるモデル行動に影響を与える少数ショット論理として、インプットとして使われることが多い。
しかし、説明強化プロンプトにおける下流モデル性能に対する異なるタイプのNLEの影響は、まだ不明である。
そこで,6つのベンチマークと4つの命令調整モデルの比較評価を行い,外部LLMで生成したNLEソースとNLE選択(ランダムと忠実度に基づくフィルタリング)が,ICL設定で使用するNLEの下流ユーティリティにどのように影響するかを検討した。
NLEの情報源では、外部に生成されたLLM-NLEは強力なダウンストリームユーティリティを提供し、どちらも利用可能な人間の論理と競合するが、自己NLEは選択戦略に敏感である。
数学の推論では、効果はモデルに依存し、ソースに依存している。
さらに、信頼度に基づく自己NLEの選択により、全体の平均ゲインが小さくなるが、メトリック、タスク、モデルによってパフォーマンスが向上または低下することを示した。
信頼度指標の相違は、どの自己NLE例が選択され、下流予測ユーティリティに影響を及ぼす。
ランダムなスワップとアウト・オブ・ディストリビューションの理性を持つロバストネステストは部分的なロバストネスを示し、セマンティックアライメントがパフォーマンス向上に寄与することを示唆している。
全体として,本研究の結果は,実用的なプロンプトパイプラインにおけるモデル行動に影響を与える説明を選定し,報告するための洞察を与える。
関連論文リスト
- LLM Microscope: What Model Internals Reveal About Answer Correctness and Context Utilization [9.410181019585822]
我々は、モデル出力の正しさを予測できるかどうかを確認するために、解釈可能性法を運用する。
私たちは正しい、間違った、無関係なコンテキストを考え、それらを区別するためのメトリクスを導入します。
モデル内部のメトリクスは、正しいコンテキストと不正確なコンテキストを区別する基準線を著しく上回る。
論文 参考訳（メタデータ） (2025-10-05T03:14:05Z) - Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。
大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。
従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文 参考訳（メタデータ） (2025-04-10T04:09:47Z) - Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。
我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。
モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
論文 参考訳（メタデータ） (2025-02-07T10:01:32Z) - Large Language Models are Biased Reinforcement Learners [0.0]
大規模言語モデル (LLM) は相対値バイアスの行動的シグネチャを示す。
計算的認知モデリングにより、LLMの挙動は単純なRLアルゴリズムによってよく記述されていることが明らかになった。
論文 参考訳（メタデータ） (2024-05-19T01:43:52Z) - Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文 参考訳（メタデータ） (2024-01-22T16:25:27Z) - Using Natural Language Explanations to Improve Robustness of In-context Learning [35.18010811754959]
大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて多くのタスクを抽出できる
自然言語説明法(NLE)によるICLの強化は,敵対的データセット上でのLLMの堅牢性を向上させるかを検討する。
論文 参考訳（メタデータ） (2023-11-13T18:49:13Z) - Situated Natural Language Explanations [54.083715161895036]
自然言語の説明(NLE)は、人間に意思決定を説明する最もアクセスしやすいツールである。
既存のNLE研究の視点は、観客を考慮に入れない。
Situated NLEは視点を提供し、説明の生成と評価に関するさらなる研究を促進する。
論文 参考訳（メタデータ） (2023-08-27T14:14:28Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳（メタデータ） (2023-06-07T17:47:03Z) - KNOW How to Make Up Your Mind! Adversarially Detecting and Alleviating
Inconsistencies in Natural Language Explanations [52.33256203018764]
不整合性NLEを検出するために既存の敵攻撃を大幅に改善するために,外部知識ベースを活用する。
高いNLE品質のモデルが必ずしも矛盾を生じさせるとは限らないことを示す。
論文 参考訳（メタデータ） (2023-06-05T15:51:58Z) - Benchmarking Faithfulness: Towards Accurate Natural Language
Explanations in Vision-Language Tasks [0.0]
自然言語の説明(NLE)は、モデルの意思決定を容易に理解可能な方法でコミュニケーション可能にすることを約束する。
現在のモデルは説得力のある説明をうまく生成するが、NLEが実際にモデルの推論過程をいかにうまく表現しているかは未解決の問題である。
帰属相似性(Atribution-Similarity)、NLE-Sufficiency(NLE-Sufficiency)、NLE-Comprehensiveness(NLE-Comprehensiveness)の3つの忠実度指標を提案する。
論文 参考訳（メタデータ） (2023-04-03T08:24:10Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳（メタデータ） (2023-02-11T14:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。