論文の概要: Measuring Information in Text Explanations

• arxiv url: http://arxiv.org/abs/2310.04557v1
• Date: Fri, 6 Oct 2023 19:46:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 17:37:33.317356
• Title: Measuring Information in Text Explanations
• Title（参考訳）: テキスト説明における情報計測
• Authors: Zining Zhu, Frank Rudzicz
• Abstract要約: 情報理論の枠組みに説明を配置することで、2つの一般的なテキスト説明手法の評価を統一することができると論じる。 これらのチャネルを流れる情報の流れを定量化し、説明特性の評価を容易にする。 我々の研究は、説明可能なAIの急速に発展する分野において、厳格で標準化された評価基準を確立するための継続的な努力に貢献している。
• 参考スコア（独自算出の注目度）: 23.929076318334047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-based explanation is a particularly promising approach in explainable AI, but the evaluation of text explanations is method-dependent. We argue that placing the explanations on an information-theoretic framework could unify the evaluations of two popular text explanation methods: rationale and natural language explanations (NLE). This framework considers the post-hoc text pipeline as a series of communication channels, which we refer to as ``explanation channels''. We quantify the information flow through these channels, thereby facilitating the assessment of explanation characteristics. We set up tools for quantifying two information scores: relevance and informativeness. We illustrate what our proposed information scores measure by comparing them against some traditional evaluation metrics. Our information-theoretic scores reveal some unique observations about the underlying mechanisms of two representative text explanations. For example, the NLEs trade-off slightly between transmitting the input-related information and the target-related information, whereas the rationales do not exhibit such a trade-off mechanism. Our work contributes to the ongoing efforts in establishing rigorous and standardized evaluation criteria in the rapidly evolving field of explainable AI.
• Abstract（参考訳）: テキストベースの説明は、説明可能なaiにおいて特に有望なアプローチであるが、テキスト説明の評価はメソッド依存である。 我々は、情報理論の枠組みに説明を配置することで、理性と自然言語の説明(NLE)という2つの一般的なテキスト説明手法の評価を統一できると主張している。 このフレームワークでは、ポストホックなテキストパイプラインを一連の通信チャネルとして捉えており、これを ``explanation channels'' と呼ぶ。 これらのチャネルを流れる情報の流れを定量化し、説明特性の評価を容易にする。 我々は2つの情報スコアを定量化するツールを構築した。 提案した情報スコアは,従来の評価指標と比較することで測定する。 情報理論的なスコアは,2つの代表的なテキスト説明の根底にあるメカニズムに関するユニークな観察を明らかにした。 例えば、NLEは入力関連情報とターゲット関連情報とをわずかに交わすが、理論的にはそのようなトレードオフ機構は示さない。 我々の研究は、説明可能なAIの急速に発展する分野において、厳格で標準化された評価基準を確立するための継続的な努力に貢献している。

関連論文リスト

• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Evaluation of Automatically Constructed Word Meaning Explanations [0.0]
  非常に大規模なコーパスからの集合情報に基づいて,説明を自動的に導き出す新しいツールを提案する。 提案手法は,約90%のケースにおいて,単語の意味を理解するのに有用なデータを含む説明を作成できることを示す。
  論文  参考訳（メタデータ） (2023-02-27T09:47:55Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• REVEL Framework to measure Local Linear Explanations for black-box models: Deep Learning Image Classification case of study [12.49538398746092]
  本稿では,理論的コヒーレントな発展を伴う説明の質に関する諸側面を評価するためのREVELと呼ばれる手法を提案する。 実験は,REVELの記述的および解析的パワーを示すベンチマークとして,画像4つのデータセットを用いて実施されている。
  論文  参考訳（メタデータ） (2022-11-11T12:15:36Z)
• REV: Information-Theoretic Evaluation of Free-Text Rationales [83.24985872655738]
  理想的な計量は、入力やラベルに提供されない理性において一意に提供される新しい情報に焦点を当てるべきである、と我々は主張する。 本稿では,REV (Rationale Evaluation with Conditional V-information) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T19:31:30Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
  テキストデータ上でのサリエンシに基づく説明について検討する。 人はしばしば説明を誤って解釈する。 本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-27T15:20:32Z)
• Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach [1.3750624267664155]
  我々は, 多様な自己記述型サロゲート説明器の集合間のコンセンサスを測定することによって, 与えられた説明の不確かさを推定する。 我々は、最先端の畳み込みニューラルネットワークアンサンブルの実験を通して、このアプローチの特性を実証的に説明する。
  論文  参考訳（メタデータ） (2021-11-17T13:55:58Z)
• The Explanation Game: Towards Prediction Explainability through Sparse Communication [6.497816402045099]
  我々は,説明責任の統一的な視点を,説明者と素人の間の問題として提供する。 このフレームワークを使って、説明の抽出にいくつかの先行したアプローチを比較します。 本稿では,選択的,スパースな注意力を用いて,説明可能性のための新しい組込み手法を提案する。
  論文  参考訳（メタデータ） (2020-04-28T22:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。