論文の概要: Measuring Association Between Labels and Free-Text Rationales

• arxiv url: http://arxiv.org/abs/2010.12762v4
• Date: Mon, 29 Aug 2022 20:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 12:42:45.989268
• Title: Measuring Association Between Labels and Free-Text Rationales
• Title（参考訳）: ラベルと自由テキスト合理化の関連性の測定
• Authors: Sarah Wiegreffe, Ana Marasovi\'c, Noah A. Smith
• Abstract要約: 解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
• 参考スコア（独自算出の注目度）: 60.58672852655487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In interpretable NLP, we require faithful rationales that reflect the model's decision-making process for an explained instance. While prior work focuses on extractive rationales (a subset of the input words), we investigate their less-studied counterpart: free-text natural language rationales. We demonstrate that pipelines, existing models for faithful extractive rationalization on information-extraction style tasks, do not extend as reliably to "reasoning" tasks requiring free-text rationales. We turn to models that jointly predict and rationalize, a class of widely used high-performance models for free-text rationalization whose faithfulness is not yet established. We define label-rationale association as a necessary property for faithfulness: the internal mechanisms of the model producing the label and the rationale must be meaningfully correlated. We propose two measurements to test this property: robustness equivalence and feature importance agreement. We find that state-of-the-art T5-based joint models exhibit both properties for rationalizing commonsense question-answering and natural language inference, indicating their potential for producing faithful free-text rationales.
• Abstract（参考訳）: 解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 先行研究は抽出的合理性(入力単語のサブセット)に焦点をあてる一方で、学習不足の合理性(free-text natural language rationales)について検討する。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。 我々は,ラベル・リテラル・アソシエーションを忠実性に必要な特性として定義し,ラベルを生成するモデルの内部メカニズムと合理性は有意に相関しなくてはならない。 この特性をテストするために,ロバスト性同値と特徴重要度合意という2つの測定値を提案する。 現状のT5ベースジョイントモデルは,共通理解質問文と自然言語推論を合理化するための特性を示し,それらが忠実な自由文理性を生み出す可能性を示唆している。

関連論文リスト

• RORA: Robust Free-Text Rationale Evaluation [52.98000150242775]
  本稿では,ラベルリークに対するロバスト自由テキストRationaleの評価手法であるRORAを提案する。 RORAは、人間の書き起こし、合成、またはモデル生成の合理性を評価する既存のアプローチを一貫して上回っている。 また、RORAは人間の判断とよく一致していることを示し、多様な自由文理性にまたがってより信頼性と正確な測定を提供する。
  論文  参考訳（メタデータ） (2024-02-28T19:46:21Z)
• Towards Trustworthy Explanation: On Causal Rationalization [9.48539398357156]
  本研究では,2つの因果デシラタに基づく合理化モデルを提案する。 提案した因果合理化の優れた性能は,実世界のレビューや医療データセットで実証されている。
  論文  参考訳（メタデータ） (2023-06-25T03:34:06Z)
• Think Rationally about What You See: Continuous Rationale Extraction for Relation Extraction [86.90265683679469]
  関係抽出は、2つの実体の文脈に応じてポテンシャル関係を抽出することを目的としている。 本稿では2つの連続性と疎性係数を利用するRE2という新しい論理抽出フレームワークを提案する。 4つのデータセットの実験は、RE2がベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2023-05-02T03:52:34Z)
• Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures [104.32063681736349]
  本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。 PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
  論文  参考訳（メタデータ） (2022-12-02T11:19:16Z)
• Does Self-Rationalization Improve Robustness to Spurious Correlations? [19.553357015260687]
  自己合理化のためのトレーニングモデルが、正しい理由でタスクを解決するための学習に役立つかどうかを問う。 細調整エンコーダデコーダとデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデオーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダデコーダのロバスト性の評価を行った。 自己組織化は低リソース環境での相関関係を刺激することでロバスト性を改善することができるが、高リソース環境ではロバスト性を損なう傾向にある。
  論文  参考訳（メタデータ） (2022-10-24T19:54:57Z)
• FRAME: Evaluating Simulatability Metrics for Free-Text Rationales [26.58948555913936]
  自由文論理は、自然言語を通してより柔軟に直感的にニューラルネットワークモデル(LM)の振る舞いを説明することを目的としている。 合理性の品質を確保するためには、合理性の忠実さと妥当性を測る指標を持つことが重要である。 本稿では,自由文論理的シミュラビリティ指標を評価するためのフレームワークFRAMEを提案する。
  論文  参考訳（メタデータ） (2022-07-02T09:25:29Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Can Rationalization Improve Robustness? [39.741059642044874]
  ニューラルNLPモデルが、その解釈可能な性質に加えて、敵攻撃に対して堅牢性をもたらすかどうかを検討する。 トークンと文レベルの合理化タスクの両方に対して,さまざまなタイプのAddText攻撃を生成する。 実験の結果、合理的モデルでは、特定のシナリオで苦労しながら、堅牢性を改善するという約束が示されることがわかった。
  論文  参考訳（メタデータ） (2022-04-25T17:02:42Z)
• SPECTRA: Sparse Structured Text Rationalization [0.0]
  本稿では,因子グラフ上の制約付き推論による構造的説明を決定論的に抽出するための統一的な枠組みを提案する。 我々のアプローチは、トレーニングと合理的な正規化を非常に容易にし、概して、可視性抽出の説明に関する以前の研究よりも優れています。
  論文  参考訳（メタデータ） (2021-09-09T20:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。