論文の概要: FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation

• arxiv url: http://arxiv.org/abs/2012.15482v1
• Date: Thu, 31 Dec 2020 07:22:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:16:45.784241
• Title: FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation
• Title（参考訳）: FiD-Ex:抽出Rationale生成のためのシーケンス・ツー・シーケンスモデルの改善
• Authors: Kushal Lakhotia, Bhargavi Paranjape, Asish Ghoshal, Wen-tau Yih, Yashar Mehdad, Srinivasan Iyer
• Abstract要約: 本研究では,セq2seqモデルの欠点に対処するFiD-Exを開発した。 FiD-Exは、ERASER説明可能性ベンチマークの複数のタスクにおける説明基準とタスク精度の観点から、以前の作業よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 19.73842483996047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language (NL) explanations of model predictions are gaining popularity as a means to understand and verify decisions made by large black-box pre-trained models, for NLP tasks such as Question Answering (QA) and Fact Verification. Recently, pre-trained sequence to sequence (seq2seq) models have proven to be very effective in jointly making predictions, as well as generating NL explanations. However, these models have many shortcomings; they can fabricate explanations even for incorrect predictions, they are difficult to adapt to long input documents, and their training requires a large amount of labeled data. In this paper, we develop FiD-Ex, which addresses these shortcomings for seq2seq models by: 1) introducing sentence markers to eliminate explanation fabrication by encouraging extractive generation, 2) using the fusion-in-decoder architecture to handle long input contexts, and 3) intermediate fine-tuning on re-structured open domain QA datasets to improve few-shot performance. FiD-Ex significantly improves over prior work in terms of explanation metrics and task accuracy, on multiple tasks from the ERASER explainability benchmark, both in the fully supervised and in the few-shot settings.
• Abstract（参考訳）: 質問回答(QA)やファクト検証(Fact Verification)といったNLPタスクにおいて,大規模なブラックボックス事前学習モデルによる意思決定の理解と検証手段として,モデル予測に関する自然言語(NL)の説明が人気を集めている。 近年、事前学習されたシーケンス to sequence (seq2seq)モデルが、共同予測やnl説明の生成に非常に有効であることが証明されている。 しかし、これらのモデルには多くの欠点があり、誤った予測に対しても説明を作成でき、長い入力文書に適応することは困難であり、トレーニングには大量のラベル付きデータが必要である。 本稿では,seq2seqモデルの欠点を解決するfid-exを開発した。1) 抽出生成を促進することによって説明作成を不要にする文マーカの導入,2) 長い入力コンテキストを処理するための fusion-in-decoder アーキテクチャ,3) 再構造化されたオープンドメインqaデータセットの中間微調整により,少数ショットの性能を向上させる。 FiD-Exは、ERASER説明可能性ベンチマークの複数のタスクにおいて、説明基準とタスク精度の両方で、以前の作業よりも大幅に改善されている。

関連論文リスト

• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks [54.306234256074255]
  生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。 一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-12-19T23:33:21Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)
• FairCanary: Rapid Continuous Explainable Fairness [8.362098382773265]
  本稿では,新しいモデルバイアス量化尺度であるQuantile Demographic Drift(QDD)を提案する。 QDDは継続的な監視シナリオに最適であり、従来のしきい値ベースのバイアスメトリクスの統計的制限に悩まされない。 QDDをFairCanaryと呼ばれる継続的モデル監視システムに組み込み、各予測毎に計算された既存の説明を再利用します。
  論文  参考訳（メタデータ） (2021-06-13T17:47:44Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Explain and Predict, and then Predict Again [6.865156063241553]
  説明生成フェーズにおけるマルチタスク学習を用いたExPredを、効果的なトレードオフ説明と予測損失として提案します。 3つの多様な言語データセットに対するアプローチを幅広く評価しています。
  論文  参考訳（メタデータ） (2021-01-11T19:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。