論文の概要: Scenarios and Approaches for Situated Natural Language Explanations

• arxiv url: http://arxiv.org/abs/2406.05035v1
• Date: Fri, 7 Jun 2024 15:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:22:27.811817
• Title: Scenarios and Approaches for Situated Natural Language Explanations
• Title（参考訳）: 特定自然言語説明のシナリオとアプローチ
• Authors: Pengshuo Qiu, Frank Rudzicz, Zining Zhu,
• Abstract要約: ベンチマークデータセットである条件ベース説明を収集します。 このデータセットには100の説明書が含まれている。 オーディエンスと組み合わせたエクスラナンダム(explanandum paired with a audience)"の各状況について、人間による説明を含める。 本稿では,ルールベースのプロンプト,メタプロンプト,コンテキスト内学習プロンプトの3つのカテゴリについて検討する。
• 参考スコア（独自算出の注目度）: 18.022428746019582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can be used to generate natural language explanations (NLE) that are adapted to different users' situations. However, there is yet to be a quantitative evaluation of the extent of such adaptation. To bridge this gap, we collect a benchmarking dataset, Situation-Based Explanation. This dataset contains 100 explanandums. Each explanandum is paired with explanations targeted at three distinct audience types-such as educators, students, and professionals-enabling us to assess how well the explanations meet the specific informational needs and contexts of these diverse groups e.g. students, teachers, and parents. For each "explanandum paired with an audience" situation, we include a human-written explanation. These allow us to compute scores that quantify how the LLMs adapt the explanations to the situations. On an array of pretrained language models with varying sizes, we examine three categories of prompting methods: rule-based prompting, meta-prompting, and in-context learning prompting. We find that 1) language models can generate prompts that result in explanations more precisely aligned with the target situations, 2) explicitly modeling an "assistant" persona by prompting "You are a helpful assistant..." is not a necessary prompt technique for situated NLE tasks, and 3) the in-context learning prompts only can help LLMs learn the demonstration template but can't improve their inference performance. SBE and our analysis facilitate future research towards generating situated natural language explanations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、異なるユーザの状況に適応した自然言語説明(NLE)を生成するために使用できる。 しかし、そのような適応の程度を定量的に評価する方法はまだない。 このギャップを埋めるために、私たちはベンチマークデータセット、状況ベース説明を収集します。 このデータセットには100の説明書が含まれている。 各説明書は、教育者、学生、専門職といった3つの異なる観衆を対象にした説明と組み合わせて、これらの多様なグループ(例えば、学生、教師、親)の特定の情報的ニーズと状況にどの程度満足しているかを評価する。 オーディエンスと組み合わせたエクスラナンダム(explanandum paired with a audience)"の各状況について、人間による説明を含める。 これにより、LCMが状況にどのように適応するかを定量化するスコアを計算することができる。 様々な大きさの事前学習言語モデルを用いて,ルールベースプロンプト,メタプロンプト,コンテキスト内学習プロンプトの3つのカテゴリについて検討する。 私たちはそれを見つける。 1) 言語モデルは、対象の状況により正確に整合した説明をもたらすプロンプトを生成することができる。 2)NLEタスクの配置には,「あなたは補助的アシスタントだ...」と指示することで,「補助的」ペルソナを明示的にモデル化することは必要ではない。 3) 文脈内学習のプロンプトは、LLMがデモテンプレートを学習するのにしか役に立たないが、推論性能は改善できない。 SBEと我々の分析は、位置する自然言語の説明を生成するための将来の研究を促進する。

関連論文リスト

• Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
  このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。 以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。 このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
  論文  参考訳（メタデータ） (2024-07-19T17:41:08Z)
• Can Language Models Explain Their Own Classification Behavior? [1.8177391253202122]
  大規模言語モデル(LLM)は、無数のタスクでうまく機能するが、このパフォーマンスの背後にあるプロセスを説明することは困難である。 本稿では,LLMが内部プロセスの忠実な高レベルな説明を行えるかどうかを考察する。 私たちはデータセットであるArticulateRulesをリリースし、コンテキスト内または微調整によってトレーニングされたLLMの自己説明をテストするために使用します。
  論文  参考訳（メタデータ） (2024-05-13T02:31:08Z)
• An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
  現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。 次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。 命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
  論文  参考訳（メタデータ） (2024-04-03T19:31:56Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Situated Natural Language Explanations [54.083715161895036]
  自然言語の説明(NLE)は、人間に意思決定を説明する最もアクセスしやすいツールである。 既存のNLE研究の視点は、観客を考慮に入れない。 Situated NLEは視点を提供し、説明の生成と評価に関するさらなる研究を促進する。
  論文  参考訳（メタデータ） (2023-08-27T14:14:28Z)
• MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
  モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。 MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。 シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T12:58:06Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。