論文の概要: "Is ChatGPT a Better Explainer than My Professor?": Evaluating the Explanation Capabilities of LLMs in Conversation Compared to a Human Baseline

• arxiv url: http://arxiv.org/abs/2406.18512v1
• Date: Wed, 26 Jun 2024 17:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 12:40:34.605928
• Title: "Is ChatGPT a Better Explainer than My Professor?": Evaluating the Explanation Capabilities of LLMs in Conversation Compared to a Human Baseline
• Title（参考訳）: 「チャットGPTは私の教授より優れているのか?」 : 会話におけるLLMの説明能力の評価
• Authors: Grace Li, Milad Alshomary, Smaranda Muresan,
• Abstract要約: 説明は知識共有の基礎を形成し、コミュニケーションの原則、社会的ダイナミクス、学習理論に基づいて構築される。 本研究は、説明者や説明者が会話で採用するさまざまな戦略を理解するための枠組みである説明行為に関する過去の研究を活用し、相手を説明・理解・関与する。 この1年で生成AIが台頭したことにより、LLM(Large Language Models)の能力と、専門家による会話環境における説明能力の強化について、より深く理解したいと思っています。
• 参考スコア（独自算出の注目度）: 23.81489190082685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explanations form the foundation of knowledge sharing and build upon communication principles, social dynamics, and learning theories. We focus specifically on conversational approaches for explanations because the context is highly adaptive and interactive. Our research leverages previous work on explanatory acts, a framework for understanding the different strategies that explainers and explainees employ in a conversation to both explain, understand, and engage with the other party. We use the 5-Levels dataset was constructed from the WIRED YouTube series by Wachsmuth et al., and later annotated by Booshehri et al. with explanatory acts. These annotations provide a framework for understanding how explainers and explainees structure their response when crafting a response. With the rise of generative AI in the past year, we hope to better understand the capabilities of Large Language Models (LLMs) and how they can augment expert explainer's capabilities in conversational settings. To achieve this goal, the 5-Levels dataset (We use Booshehri et al.'s 2023 annotated dataset with explanatory acts.) allows us to audit the ability of LLMs in engaging in explanation dialogues. To evaluate the effectiveness of LLMs in generating explainer responses, we compared 3 different strategies, we asked human annotators to evaluate 3 different strategies: human explainer response, GPT4 standard response, GPT4 response with Explanation Moves.
• Abstract（参考訳）: 説明は知識共有の基礎を形成し、コミュニケーションの原則、社会的ダイナミクス、学習理論に基づいて構築される。 文脈が高度に適応的かつ対話的であるため,説明のための会話的アプローチに着目する。 本研究は、説明者や説明者が会話で採用するさまざまな戦略を理解するための枠組みである説明行動に関する過去の研究を活用し、相手を説明・理解・関与する。 We use the 5-Levels dataset was constructed from the WIRED YouTube series by Wachsmuth et al, then annotated by Booshehri et al with explanatory acts。 これらのアノテーションは、反応を作成する際に、説明者と説明者がどのように反応を構造化するかを理解するためのフレームワークを提供する。 この1年で生成AIが台頭したことにより、LLM(Large Language Models)の能力と、専門家による会話環境における説明能力の強化について、より深く理解したいと思っています。 この目的を達成するため、5-Levelsデータセット(Booshehri et al's 2023 アノテーション付きデータセットを説明行動で使用)は、説明対話に関わる LLM の能力を監査することができる。 説明文生成におけるLCMの有効性を評価するため,人間のアノテータに対して,説明文応答,GPT4標準応答,説明文移動によるGPT4応答の3つの戦略を評価させた。

関連論文リスト

• Modeling the Quality of Dialogical Explanations [21.429245729478918]
  本研究では,説明者と説明者の相互作用の観点から,説明対話について検討する。 対話の流れを分析し、専門家の対話に現れるものと比較する。 長い入力を処理できる2つの言語モデルを用いてインタラクションフローを符号化する。
  論文  参考訳（メタデータ） (2024-03-01T16:49:55Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• May I Ask a Follow-up Question? Understanding the Benefits of Conversations in Neural Network Explainability [17.052366688978935]
  自由形式の会話が静的な説明の理解を深めるかどうかを検討する。 参加者が3つの機械学習モデルから選択できる能力に会話が与える影響を計測する。 本研究は,自由形式の会話形式におけるモデル説明のカスタマイズの重要性を強調した。
  論文  参考訳（メタデータ） (2023-09-25T09:00:38Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)
• "Mama Always Had a Way of Explaining Things So I Could Understand'': A Dialogue Corpus for Learning to Construct Explanations [26.540485804067536]
  対話的説明の最初のコーパスを導入し,人間の説明の仕方についてNLP研究を可能にする。 コーパスは、Wiredのテレビシリーズ『emph5 Levels』の65の英訳対話からなり、13のトピックと5人の熟練者について解説している。
  論文  参考訳（メタデータ） (2022-09-06T14:00:22Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Explanation as a process: user-centric construction of multi-level and multi-modal explanations [0.34410212782758043]
  本稿では,マルチレベルとマルチモーダルな説明を組み合わせたプロセスベースアプローチを提案する。 私たちは、解釈可能な機械学習アプローチであるインダクティブロジックプログラミングを使用して、理解可能なモデルを学びます。
  論文  参考訳（メタデータ） (2021-10-07T19:26:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。