論文の概要: SPECTRA: Sparse Structured Text Rationalization

• arxiv url: http://arxiv.org/abs/2109.04552v1
• Date: Thu, 9 Sep 2021 20:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:43:41.941251
• Title: SPECTRA: Sparse Structured Text Rationalization
• Title（参考訳）: SPECTRA:スパース構造化テキスト合理化
• Authors: Nuno Miguel Guerreiro, Andr\'e F. T. Martins
• Abstract要約: 本稿では,因子グラフ上の制約付き推論による構造的説明を決定論的に抽出するための統一的な枠組みを提案する。 我々のアプローチは、トレーニングと合理的な正規化を非常に容易にし、概して、可視性抽出の説明に関する以前の研究よりも優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selective rationalization aims to produce decisions along with rationales (e.g., text highlights or word alignments between two sentences). Commonly, rationales are modeled as stochastic binary masks, requiring sampling-based gradient estimators, which complicates training and requires careful hyperparameter tuning. Sparse attention mechanisms are a deterministic alternative, but they lack a way to regularize the rationale extraction (e.g., to control the sparsity of a text highlight or the number of alignments). In this paper, we present a unified framework for deterministic extraction of structured explanations via constrained inference on a factor graph, forming a differentiable layer. Our approach greatly eases training and rationale regularization, generally outperforming previous work on what comes to performance and plausibility of the extracted rationales. We further provide a comparative study of stochastic and deterministic methods for rationale extraction for classification and natural language inference tasks, jointly assessing their predictive power, quality of the explanations, and model variability.
• Abstract（参考訳）: 選択的合理化は、合理性(テキストハイライトや2つの文間の単語のアライメントなど)とともに意思決定を行うことを目的としている。 一般に、合理性は確率的二乗マスクとしてモデル化され、サンプリングベースの勾配推定器を必要とする。 スパースアテンションメカニズムは決定論的な代替手段であるが、合理的抽出(例えばテキストハイライトの空間性やアライメントの数を制御する)を規則化する手段が欠けている。 本稿では,因子グラフ上の制約付き推論による構造的説明を決定論的に抽出するための統一的な枠組みについて述べる。 我々のアプローチは、トレーニングと合理化を大いに緩和し、一般的に、抽出された合理化のパフォーマンスと可能性に関して、以前の仕事よりも優れています。 さらに,分類と自然言語推論タスクの合理化のための確率的および決定論的手法の比較研究を行い,それらの予測能力,説明の質,モデル変動を共同で評価した。

関連論文リスト

• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Plausible Extractive Rationalization through Semi-Supervised Entailment Signal [29.67884478799914]
  抽出された有理量の妥当性を最適化するために,半教師付きアプローチを採用する。 我々は、事前学習された自然言語推論(NLI)モデルを採用し、さらに教師付き論理の小さなセットに微調整する。 質問応答タスクにおける説明と回答のアライメント合意を強制することにより、真理ラベルにアクセスせずに性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-13T14:12:32Z)
• Enhancing the Rationale-Input Alignment for Self-explaining Rationalization [22.74436500022893]
  DAR(textbfDiscriminatively textbfAligned textbfRationalization)と呼ばれる新しい手法を導入する。 2つの実世界のベンチマーク実験により,提案手法は説明の質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-07T07:37:15Z)
• Towards Trustworthy Explanation: On Causal Rationalization [9.48539398357156]
  本研究では,2つの因果デシラタに基づく合理化モデルを提案する。 提案した因果合理化の優れた性能は,実世界のレビューや医療データセットで実証されている。
  論文  参考訳（メタデータ） (2023-06-25T03:34:06Z)
• Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
  我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。 我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
  論文  参考訳（メタデータ） (2023-01-15T03:13:09Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Interlock-Free Multi-Aspect Rationalization for Text Classification [33.33452117387646]
  マルチアスペクト設定におけるインターロック問題に対処することを示す。 自己監督型コントラスト損失を付加した多段階学習手法を提案する。 ビールレビューデータセットにおける実験結果から,本手法は合理化性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2022-05-13T16:38:38Z)
• Measuring Association Between Labels and Free-Text Rationales [60.58672852655487]
  解釈可能なNLPでは、説明された例に対するモデルの意思決定プロセスを反映した忠実な理性が必要です。 情報抽出型タスクに対する忠実な抽出合理化のための既存のモデルであるパイプラインは、自由テキスト合理化を必要とするタスクに確実に拡張されないことを示す。 我々は、信頼が確立されていない自由文合理化のための、広く使われている高性能モデルのクラスである、共同予測と合理化のモデルに目を向ける。
  論文  参考訳（メタデータ） (2020-10-24T03:40:56Z)
• Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision [60.62434362997016]
  文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T12:54:28Z)
• Invariant Rationalization [84.1861516092232]
  典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。 ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。 理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-22T00:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。