論文の概要: Improving Machine Reading Comprehension with Single-choice Decision and
Transfer Learning
- arxiv url: http://arxiv.org/abs/2011.03292v2
- Date: Tue, 17 Nov 2020 06:26:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 05:00:03.160987
- Title: Improving Machine Reading Comprehension with Single-choice Decision and
Transfer Learning
- Title(参考訳): 単調決定と転校学習による機械読解能力の向上
- Authors: Yufan Jiang, Shuangzhi Wu, Jing Gong, Yahui Cheng, Peng Meng, Weiliang
Lin, Zhibo Chen and Mu li
- Abstract要約: MMRC (Multi-choice Machine Reading) は、与えられたパスと質問に基づいて、オプションのセットから正しい回答を選択することを目的としている。
SQuADやDreamといった他のRCタスクから知識を伝達するのは簡単ではない。
我々は、ある解答が正しいかどうかを識別するために二分分類を訓練することにより、複数選択から単一選択へ再構成する。
- 参考スコア(独自算出の注目度): 18.81256990043713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-choice Machine Reading Comprehension (MMRC) aims to select the correct
answer from a set of options based on a given passage and question. Due to task
specific of MMRC, it is non-trivial to transfer knowledge from other MRC tasks
such as SQuAD, Dream. In this paper, we simply reconstruct multi-choice to
single-choice by training a binary classification to distinguish whether a
certain answer is correct. Then select the option with the highest confidence
score. We construct our model upon ALBERT-xxlarge model and estimate it on the
RACE dataset. During training, We adopt AutoML strategy to tune better
parameters. Experimental results show that the single-choice is better than
multi-choice. In addition, by transferring knowledge from other kinds of MRC
tasks, our model achieves a new state-of-the-art results in both single and
ensemble settings.
- Abstract(参考訳): MMRC(Multi-choice Machine Reading Comprehension)は、与えられた文節と質問に基づいて、オプションのセットから正しい回答を選択することを目的としている。
MMRCのタスク特化のため、SQuADやDreamといった他のMRCタスクから知識を伝達するのは簡単ではない。
本稿では,ある解が正しいかどうかを識別するために,二項分類をトレーニングすることで,複数選択を単一選択に再構築する。
そして、最も信頼度の高いオプションを選択します。
ALBERT-xxlargeモデルに基づいてモデルを構築し,RASデータセット上で推定する。
トレーニングでは、より良いパラメータを調整するためにAutoML戦略を採用しています。
実験の結果,シングルチョイスはマルチチョイスよりも優れていることがわかった。
さらに,他の種類のMRCタスクから知識を伝達することにより,単一およびアンサンブル設定で新たな最先端結果が得られる。
関連論文リスト
- Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T17:44:56Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳(メタデータ) (2023-01-30T20:59:30Z) - Cost-Effective Online Contextual Model Selection [14.094350329970537]
我々は,このタスクを,学習者が文脈とともにラベルのないデータポイントを受信する,オンラインコンテキストアクティブモデル選択問題として定式化する。
目標は、ラベルの過剰な量を得ることなく、任意のコンテキストに対して最良のモデルを出力することである。
本稿では,適応モデル選択のためのポリシークラスに定義された新しい不確実性サンプリングクエリ基準に依存する,文脈型アクティブモデル選択アルゴリズム(CAMS)を提案する。
論文 参考訳(メタデータ) (2022-07-13T08:22:22Z) - KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive
Question Answering [28.18555591429343]
我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。
PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。
提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
論文 参考訳(メタデータ) (2022-05-06T08:31:02Z) - True Few-Shot Learning with Language Models [78.42578316883271]
ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。
以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
論文 参考訳(メタデータ) (2021-05-24T17:55:51Z) - Self-Teaching Machines to Read and Comprehend with Large-Scale
Multi-Subject Question Answering Data [58.36305373100518]
主観的問合せデータが機械読解作業に有用かどうかは不明である。
大規模多目的多目的質問回答データセットであるExamQAを収集する。
我々は、Web検索エンジンが返す不完全でノイズの多いスニペットを、各質問応答インスタンスの関連するコンテキストとして使用し、弱いラベル付きMRCインスタンスに変換する。
論文 参考訳(メタデータ) (2021-02-01T23:18:58Z) - Generating Correct Answers for Progressive Matrices Intelligence Tests [88.78821060331582]
Ravenのプログレッシブマトリクス(Progressive Matrices)は、複数選択のインテリジェンステストである。
このテストに対処する以前の試みは、複数の選択肢の中から正しい回答を選択することに集中していました。
この作業では、代わりに、定義によって難しいタスクである選択を見ることなく、グリッドに与えられた正しい回答を生成することに焦点を合わせます。
論文 参考訳(メタデータ) (2020-11-01T13:21:07Z) - Multi-task Learning with Multi-head Attention for Multi-choice Reading
Comprehension [2.0329245344902813]
この注記は、DREAMタスクにおける新しい最先端結果の文書化である。
さらに2つのマルチタスク読解タスクでマルチタスク学習を行う。
論文 参考訳(メタデータ) (2020-02-26T16:32:25Z) - DUMA: Reading Comprehension with Transposition Thinking [107.89721765056281]
MRC (Multi-choice Machine Reading) は、解答オプションのセットから正しい解答を決定するためのモデルを必要とする。
新しい Dual Multi-head Co-Attention (DUMA) モデルは、多選択MRC問題を解決する人間の転置思考プロセスにインスパイアされている。
論文 参考訳(メタデータ) (2020-01-26T07:35:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。