論文の概要: Correct after Answer: Enhancing Multi-Span Question Answering with Post-Processing Method
- arxiv url: http://arxiv.org/abs/2410.16788v1
- Date: Tue, 22 Oct 2024 08:04:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-23 14:30:26.523045
- Title: Correct after Answer: Enhancing Multi-Span Question Answering with Post-Processing Method
- Title（参考訳）: 回答の正解:事後解答によるマルチスパン質問応答の強化
- Authors: Jiayi Lin, Chenyang Zhang, Haibo Tong, Dongyu Zhang, Qingqing Hong, Bingxuan Hou, Junli Wang,
- Abstract要約: マルチスパン質問回答(Multi-Span Question Answering、MSQA)は、ある質問に答えるために、与えられたコンテキストから1つまたは複数の回答スパンを抽出するモデルを必要とする。
本稿では,不正確な予測処理に後処理戦略を用いるAnswering-Classifying-Correcting(ACC)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.794628063040108
- License:
- Abstract: Multi-Span Question Answering (MSQA) requires models to extract one or multiple answer spans from a given context to answer a question. Prior work mainly focuses on designing specific methods or applying heuristic strategies to encourage models to predict more correct predictions. However, these models are trained on gold answers and fail to consider the incorrect predictions. Through a statistical analysis, we observe that models with stronger abilities do not predict less incorrect predictions compared with other models. In this work, we propose Answering-Classifying-Correcting (ACC) framework, which employs a post-processing strategy to handle incorrect predictions. Specifically, the ACC framework first introduces a classifier to classify the predictions into three types and exclude "wrong predictions", then introduces a corrector to modify "partially correct predictions". Experiments on several MSQA datasets show that ACC framework significantly improves the Exact Match (EM) scores, and further analysis demostrates that ACC framework efficiently reduces the number of incorrect predictions, improving the quality of predictions.
- Abstract（参考訳）: マルチスパン質問回答(Multi-Span Question Answering、MSQA)は、ある質問に答えるために、与えられたコンテキストから1つまたは複数の回答スパンを抽出するモデルを必要とする。
それまでの研究は主に、特定のメソッドの設計や、より正確な予測をモデルに推奨するヒューリスティック戦略の適用に重点を置いていた。
しかし、これらのモデルは金の回答に基づいて訓練されており、誤った予測を考慮できない。
統計的解析により、より強力な能力を持つモデルでは、他のモデルと比較して誤予測が少なくなることが観察される。
本研究では,不正確な予測処理に後処理戦略を用いるAnswering-Classifying-Correcting(ACC)フレームワークを提案する。
具体的には、ACCフレームワークはまず、予測を3つのタイプに分類し、「間違った予測」を除外する分類器を導入し、次に「部分的に正しい予測」を修正するための修正器を導入する。
いくつかのMSQAデータセットの実験では、ACCフレームワークはエクサクトマッチ(EM)スコアを大幅に改善し、さらに解析により、ACCフレームワークが誤った予測数を効率的に削減し、予測の品質を向上させることが示されている。
関連論文リスト
- Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。
共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。
我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-05-27T18:00:00Z) - Conformalized Late Fusion Multi-View Learning [18.928543069018865]
多視点学習の不確かさの定量化は、科学的な問題における多視点データの利用の増加によって動機づけられる。
個別のビューで個別の予測器を訓練し、単一のビュー予測が利用可能になった後にそれらを組み合わせます。
本稿では,共形予測を単一ビュー予測器上で個別に行う手法として,MVCP(Multi-View Conformal Prediction)を提案する。
論文 参考訳（メタデータ） (2024-05-25T14:11:01Z) - Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。
複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。
提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
論文 参考訳（メタデータ） (2024-04-16T06:40:51Z) - Conformal online model aggregation [29.43493007296859]
本稿では,オンライン環境における共形モデルアグリゲーションへの新たなアプローチを提案する。
これは、過去の性能に基づいてモデルの重みが時間とともに適応される投票によって、いくつかのアルゴリズムの予測セットを組み合わせることに基づいている。
論文 参考訳（メタデータ） (2024-03-22T15:40:06Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳（メタデータ） (2022-06-22T17:02:01Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳（メタデータ） (2022-04-17T15:55:18Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Backward-Compatible Prediction Updates: A Probabilistic Approach [12.049279991559091]
本稿では,予測更新問題を定式化し,上記の質問に対する効率的な確率的アプローチを提案する。
標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための代替戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-02T13:05:31Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2020-06-24T23:13:11Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳（メタデータ） (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。