論文の概要: REFER: An End-to-end Rationale Extraction Framework for Explanation Regularization

• arxiv url: http://arxiv.org/abs/2310.14418v1
• Date: Sun, 22 Oct 2023 21:20:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 23:48:41.461020
• Title: REFER: An End-to-end Rationale Extraction Framework for Explanation Regularization
• Title（参考訳）: ReFER: 説明規則化のためのエンドツーエンドのRationale抽出フレームワーク
• Authors: Mohammad Reza Ghasemi Madani, Pasquale Minervini
• Abstract要約: 本稿では,理性抽出プロセスを通じてバックプロパゲーションを可能にする,微分可能な理性抽出器を用いたフレームワークであるREFERを提案する。 課題モデルと有理抽出器を共同で訓練することにより,トレーニング中にヒトのハイライトを用いることによる影響を分析した。
• 参考スコア（独自算出の注目度）: 12.409398096527829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-annotated textual explanations are becoming increasingly important in Explainable Natural Language Processing. Rationale extraction aims to provide faithful (i.e., reflective of the behavior of the model) and plausible (i.e., convincing to humans) explanations by highlighting the inputs that had the largest impact on the prediction without compromising the performance of the task model. In recent works, the focus of training rationale extractors was primarily on optimizing for plausibility using human highlights, while the task model was trained on jointly optimizing for task predictive accuracy and faithfulness. We propose REFER, a framework that employs a differentiable rationale extractor that allows to back-propagate through the rationale extraction process. We analyze the impact of using human highlights during training by jointly training the task model and the rationale extractor. In our experiments, REFER yields significantly better results in terms of faithfulness, plausibility, and downstream task accuracy on both in-distribution and out-of-distribution data. On both e-SNLI and CoS-E, our best setting produces better results in terms of composite normalized relative gain than the previous baselines by 11% and 3%, respectively.
• Abstract（参考訳）: 説明可能な自然言語処理において,人間による注釈付きテキスト説明の重要性が高まっている。 Rationale extractは、タスクモデルの性能を損なうことなく、予測に最も大きな影響を及ぼした入力を強調することにより、忠実(すなわちモデルの振る舞いを反映する)かつ、人間に説得力のある説明を提供することを目的としている。 近年の研究では,課題予測精度と忠実度を協調的に最適化する作業モデルについて,人間のハイライトによる妥当性の最適化に主眼を置いている。 本稿では,理性抽出プロセスを通じてバックプロパゲーションを可能にする,微分可能な理性抽出器を用いたフレームワークREFERを提案する。 タスクモデルと合理化抽出器を共同で訓練することにより,学習中の人間のハイライトが与える影響を分析した。 実験では,in-distributionデータとout-of-distributionデータの両方において,信頼性,信頼性,ダウンストリームタスクの正確性の観点から有意に優れた結果が得られることを示す。 e-snli と cos-e の両方において、我々の最良の設定は、それぞれ 11% と 3% の基準値よりも、複合正規化相対ゲインの点でより良い結果をもたらす。

関連論文リスト

• Discussion: Effective and Interpretable Outcome Prediction by Training Sparse Mixtures of Linear Experts [4.178382980763478]
  我々は,ゲートと専門家のサブネットの両方がロジスティック回帰器である,スパースミクチャー・オブ・エキスパートを訓練することを提案する。 このアンサンブルのようなモデルは、各サブネット内の入力機能のサブセットを自動的に選択しながら、エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2024-07-18T13:59:10Z)
• Plausible Extractive Rationalization through Semi-Supervised Entailment Signal [33.35604728012685]
  抽出された有理量の妥当性を最適化するために,半教師付きアプローチを採用する。 我々は、事前学習された自然言語推論(NLI)モデルを採用し、さらに教師付き論理の小さなセットに微調整する。 質問応答タスクにおける説明と回答のアライメント合意を強制することにより、真理ラベルにアクセスせずに性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-13T14:12:32Z)
• From Prediction to Action: Critical Role of Performance Estimation for Machine-Learning-Driven Materials Discovery [2.3243389656894595]
  我々は,事前計算したデータ収集から得られる適切な性能推定手法が欠如していることが,データ駆動材料発見の改善の根本的課題であると主張している。 本研究では,「予測された改善」獲得関数を用いてガウス過程の予測を成功させる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T05:29:43Z)
• Target Variable Engineering [0.0]
  数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。 回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
  論文  参考訳（メタデータ） (2023-10-13T23:12:21Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。