論文の概要: Post-Abstention: Towards Reliably Re-Attempting the Abstained Instances in QA

• arxiv url: http://arxiv.org/abs/2305.01812v1
• Date: Tue, 2 May 2023 22:40:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 16:18:31.498465
• Title: Post-Abstention: Towards Reliably Re-Attempting the Abstained Instances in QA
• Title（参考訳）: 棄権後:QAにおける確固たるインスタンスの再試行に向けて
• Authors: Neeraj Varshney and Chitta Baral
• Abstract要約: 本稿では, システムの「包括性」を高めることを目的として, 留置インスタンスの再帰を可能にするタスクである「保留後」について, 爆発的研究を行う。 11のQAデータセットに関する総合的な実験は、これらの手法がかなりのリスク改善につながることを示している。
• 参考スコア（独自算出の注目度）: 24.572043878403353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite remarkable progress made in natural language processing, even the state-of-the-art models often make incorrect predictions. Such predictions hamper the reliability of systems and limit their widespread adoption in real-world applications. 'Selective prediction' partly addresses the above concern by enabling models to abstain from answering when their predictions are likely to be incorrect. While selective prediction is advantageous, it leaves us with a pertinent question 'what to do after abstention'. To this end, we present an explorative study on 'Post-Abstention', a task that allows re-attempting the abstained instances with the aim of increasing 'coverage' of the system without significantly sacrificing its 'accuracy'. We first provide mathematical formulation of this task and then explore several methods to solve it. Comprehensive experiments on 11 QA datasets show that these methods lead to considerable risk improvements -- performance metric of the Post-Abstention task -- both in the in-domain and the out-of-domain settings. We also conduct a thorough analysis of these results which further leads to several interesting findings. Finally, we believe that our work will encourage and facilitate further research in this important area of addressing the reliability of NLP systems.
• Abstract（参考訳）: 自然言語処理における顕著な進歩にもかかわらず、最先端モデルでさえしばしば誤った予測を行う。 このような予測はシステムの信頼性を阻害し、現実世界のアプリケーションで広く採用されるのを制限する。 selective prediction'は、モデルが予測が間違っていた場合の応答を回避可能にすることで、上記の懸念に部分的に対処している。 選択予測は有利であるが、「棄権後に何をすべきか」という関連する疑問が残る。 そこで,本研究では,その「正確性」を損なうことなく,システムの「被覆」を増大させる目的で,棄却されたインスタンスの再対応を可能にするタスクである「後吸収」に関する探索的な研究を行う。 まず,この課題の数学的定式化を行い,その解法をいくつか検討する。 11のqaデータセットに関する包括的な実験は、これらの手法がドメイン内およびドメイン外の設定の両方において、かなりのリスク改善をもたらすことを示している。 また、これらの結果を徹底的に分析し、さらにいくつかの興味深い結果をもたらす。 最後に,我々の研究は,nlpシステムの信頼性に取り組む上で,この重要な領域におけるさらなる研究を奨励し,促進すると信じている。

関連論文リスト

• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Learning-Based Approaches to Predictive Monitoring with Conformal Statistical Guarantees [2.1684857243537334]
  本チュートリアルは、予測モニタリング(PM)のための効率的な手法に焦点を当てている。 PMは、システムの現在の状態から与えられた要件の将来の違反を検出する問題である。 CPSの予測モニタリングに対する我々のアプローチを要約した、汎用的で包括的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T15:16:42Z)
• From Prediction to Action: Critical Role of Performance Estimation for Machine-Learning-Driven Materials Discovery [2.3243389656894595]
  我々は,事前計算したデータ収集から得られる適切な性能推定手法が欠如していることが,データ駆動材料発見の改善の根本的課題であると主張している。 本研究では,「予測された改善」獲得関数を用いてガウス過程の予測を成功させる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T05:29:43Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Evaluating Predictive Distributions: Does Bayesian Deep Learning Work? [45.290773422944866]
  後続の予測分布は、点推定によって無視される不確実性を定量化する。 本稿では,このような予測を生成するエージェントの系統的評価を行うためのツールである,The Neural Testbedを紹介する。
  論文  参考訳（メタデータ） (2021-10-09T18:54:02Z)
• Towards Improving Selective Prediction Ability of NLP Systems [24.774450633678125]
  本稿では,予測信頼度とインスタンスの難易度を用いてモデルを校正することにより,モデルの確率推定を改善する手法を提案する。 In-Domain (IID) と Out-of-Domain (OOD) の2つの設定で評価を行う。
  論文  参考訳（メタデータ） (2020-08-21T08:46:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。