論文の概要: Digital Socrates: Evaluating LLMs through explanation critiques

• arxiv url: http://arxiv.org/abs/2311.09613v1
• Date: Thu, 16 Nov 2023 06:51:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 16:14:17.831503
• Title: Digital Socrates: Evaluating LLMs through explanation critiques
• Title（参考訳）: デジタルソクラテス : 説明的批判によるLCMの評価
• Authors: Yuling Gu, Oyvind Tafjord, Peter Clark
• Abstract要約: デジタルソクラテス(Digital Socrates)は、モデル説明のための評価ツールである。 ニュアンス付き、解釈可能なキャラクタリゼーションを自動的に生成できる。 デジタルソクラテスは、モデルの説明行動を理解し改善するための評価ツールの重要なギャップを埋める。
• 参考スコア（独自算出の注目度）: 41.876046456171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While LLMs can provide reasoned explanations along with their answers, the nature and quality of those explanations are still poorly understood. In response, our goal is to define a detailed way of characterizing the explanation capabilities of modern models and to create a nuanced, interpretable explanation evaluation tool that can generate such characterizations automatically, without relying on expensive API calls or human annotations. Our approach is to (a) define the new task of explanation critiquing - identifying and categorizing any main flaw in an explanation and providing suggestions to address the flaw, (b) create a sizeable, human-verified dataset for this task, and (c) train an open-source, automatic critiquing model (called Digital Socrates) using this data. Through quantitative and qualitative analysis, we demonstrate how Digital Socrates is useful for revealing insights about student models by examining their reasoning chains, and how it can provide high-quality, nuanced, automatic evaluation of those model explanations for the first time. Digital Socrates thus fills an important gap in evaluation tools for understanding and improving the explanation behavior of models.
• Abstract（参考訳）: LLMは、その答えとともに推論された説明を提供することができるが、これらの説明の性質と品質はいまだに理解されていない。 これに対し、我々のゴールは、高価なAPI呼び出しや人的アノテーションに頼ることなく、このような特徴を自動生成できる、最新のモデルの説明機能を詳細に表現し、曖昧で解釈可能な説明評価ツールを作成することである。 私たちのアプローチは (a) 説明批判の新しいタスクを定義する - 説明の主要な欠陥を特定し、分類し、その欠陥に対処するための提案を提供する。 (b)このタスクのためのサイズ、人間認証データセットを作成し、 (c)このデータを用いてオープンソースの自動評定モデル(Digital Socrates)を訓練する。 量的および質的な分析を通じて、デジタルソクラテスが学生モデルについての洞察を明らかにするのにどのように役立つかを示し、それらのモデル説明の高品質でニュアンスの高い自動評価を初めて提供するかを示す。 したがって、デジタルソクラテスはモデルの説明行動を理解し改善するための評価ツールの重要なギャップを埋める。

関連論文リスト

• AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [12.970776782360366]
  AERA Chatは、学生の回答の視覚的に説明された評価を提供するインタラクティブなプラットフォームである。 ユーザーは質問や学生の回答を入力して、大規模言語モデルから自動で説明可能な評価結果を得ることができる。
  論文  参考訳（メタデータ） (2024-10-12T11:57:53Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Learning by Self-Explaining [23.420673675343266]
  我々は、自己説明による学習(LSX)と呼ばれる画像分類の文脈において、新しいワークフローを導入する。 LSXは、自己修復型AIと人間誘導型説明機械学習の側面を利用する。 本結果は,自己説明による学習による改善を,いくつかのレベルで示すものである。
  論文  参考訳（メタデータ） (2023-09-15T13:41:57Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• ExSum: From Local Explanations to Model Understanding [6.23934576145261]
  ブラックボックスモデルの動作メカニズムを理解するために,解釈可能性法を開発した。 この目標をフルフィルするには、これらのメソッドによって生成された説明が正しいことと、人々が容易に確実に理解できることの両方が必要である。 本稿では,モデル理解の定量化のための数学的枠組みである説明要約(ExSum)を紹介する。
  論文  参考訳（メタデータ） (2022-04-30T02:07:20Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。