論文の概要: Are Shortest Rationales the Best Explanations for Human Understanding?

• arxiv url: http://arxiv.org/abs/2203.08788v1
• Date: Wed, 16 Mar 2022 17:52:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 13:14:33.550578
• Title: Are Shortest Rationales the Best Explanations for Human Understanding?
• Title（参考訳）: 最短の理性は人間の理解に最適な説明か?
• Authors: Hua Shen, Tongshuang Wu, Wenbo Guo, Ting-Hao 'Kenneth' Huang
• Abstract要約: 我々は、ユーザーが任意のターゲット長で有理を抽出できる自己説明型モデル、LimitedInkを設計する。 既存のベースラインと比較すると、LimitedInkはエンドタスクのパフォーマンスと人間による注釈付き合理化契約を達成している。 ランダムにマスキングされたテキストよりも、人間がラベルを予測するのに役立ちません。
• 参考スコア（独自算出の注目度）: 33.167653894653114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing self-explaining models typically favor extracting the shortest possible rationales - snippets of an input text "responsible for" corresponding output - to explain the model prediction, with the assumption that shorter rationales are more intuitive to humans. However, this assumption has yet to be validated. Is the shortest rationale indeed the most human-understandable? To answer this question, we design a self-explaining model, LimitedInk, which allows users to extract rationales at any target length. Compared to existing baselines, LimitedInk achieves compatible end-task performance and human-annotated rationale agreement, making it a suitable representation of the recent class of self-explaining models. We use LimitedInk to conduct a user study on the impact of rationale length, where we ask human judges to predict the sentiment label of documents based only on LimitedInk-generated rationales with different lengths. We show rationales that are too short do not help humans predict labels better than randomly masked text, suggesting the need for more careful design of the best human rationales.
• Abstract（参考訳）: 既存の自己説明モデルでは、入力テキストのスニペットを対応する出力に"責任"として抽出し、短い有理が人間にとってより直感であるという仮定でモデル予測を説明するのが一般的である。 しかし、この仮定はまだ検証されていない。 最も短い合理性は、本当に最も人間に理解しやすいものなのだろうか? この疑問に答えるために、我々は、ユーザーが任意のターゲット長で有理を抽出できる自己説明型モデル、LimitedInkを設計する。 既存のベースラインと比較すると、LimitedInkはエンドタスクのパフォーマンスと人間による注釈付き合理化契約を達成しており、最近の自己説明型モデルの適切な表現となっている。 我々は,LimitedInkを用いて,有理長の影響に関するユーザスタディを行い,人間の判断に対して,長さの異なるLimitedInk生成論理に基づいて,文書の感情ラベルを予測する。 提案手法は,不規則にマスキングされたテキストよりもラベルの予測が容易でないという理性を示しており,人間の最善の理性をより慎重に設計する必要があることを示唆している。

関連論文リスト

• Infinite Ends from Finite Samples: Open-Ended Goal Inference as Top-Down Bayesian Filtering of Bottom-Up Proposals [48.437581268398866]
  オープンエンドゴール推論のシーケンシャルなモンテカルロモデルを導入する。 我々はこのモデルをブロックワードと呼ばれるゴール推論タスクで検証する。 実験では,人間理論の速度,精度,一般性を説明する上で,トップダウンモデルとボトムアップモデルを組み合わせることの重要性を強調した。
  論文  参考訳（メタデータ） (2024-07-23T18:04:40Z)
• RORA: Robust Free-Text Rationale Evaluation [52.98000150242775]
  本稿では,ラベルリークに対するロバスト自由テキストRationaleの評価手法であるRORAを提案する。 RORAは、人間の書き起こし、合成、またはモデル生成の合理性を評価する既存のアプローチを一貫して上回っている。 また、RORAは人間の判断とよく一致していることを示し、多様な自由文理性にまたがってより信頼性と正確な測定を提供する。
  論文  参考訳（メタデータ） (2024-02-28T19:46:21Z)
• How Ambiguous are the Rationales for Natural Language Reasoning? A Simple Approach to Handling Rationale Uncertainty [0.0]
  答の背後にある合理性は、モデル決定を説明するだけでなく、複雑な推論タスクをうまく推理するために言語モデルを促進する。 モデルパフォーマンスを促進するのに十分な根拠が忠実である程度を見積もるのは簡単ではない。 本稿では,不完全理理性に対処する方法を提案する。
  論文  参考訳（メタデータ） (2024-02-22T07:12:34Z)
• HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision [118.0818807474809]
  本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。 提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
  論文  参考訳（メタデータ） (2023-05-23T16:53:49Z)
• The Irrationality of Neural Rationale Models [6.159428088113691]
  反対に、哲学的視点と経験的証拠の両方で、有理モデルが、おそらく予想よりも合理的で解釈可能でないことを示唆している。 我々はこれらのモデルのより厳密で包括的な評価を求め、解釈可能性の望ましい特性が実際に達成されることを確実にする。
  論文  参考訳（メタデータ） (2021-10-14T17:22:10Z)
• Rationales for Sequential Predictions [117.93025782838123]
  シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。 モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。 この目的を近似する効率的なグリードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T01:25:15Z)
• Rationalization through Concepts [27.207067974031805]
  ConRATという,新しい自己解釈モデルを提案する。 高レベルの決定に対する人間の説明は、しばしば鍵となる概念に基づいており、ConRATはドキュメントに記述されているものを想定している。 2つの正規化器がConRATを駆動して解釈可能な概念を構築する。
  論文  参考訳（メタデータ） (2021-05-11T07:46:48Z)
• Invariant Rationalization [84.1861516092232]
  典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。 ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。 理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-22T00:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。