論文の概要: DUMA: Reading Comprehension with Transposition Thinking
- arxiv url: http://arxiv.org/abs/2001.09415v5
- Date: Tue, 15 Sep 2020 07:16:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 19:25:34.425283
- Title: DUMA: Reading Comprehension with Transposition Thinking
- Title(参考訳): duma: 転置思考による理解を読む
- Authors: Pengfei Zhu and Hai Zhao and Xiaoguang Li
- Abstract要約: MRC (Multi-choice Machine Reading) は、解答オプションのセットから正しい解答を決定するためのモデルを必要とする。
新しい Dual Multi-head Co-Attention (DUMA) モデルは、多選択MRC問題を解決する人間の転置思考プロセスにインスパイアされている。
- 参考スコア(独自算出の注目度): 107.89721765056281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-choice Machine Reading Comprehension (MRC) requires model to decide the
correct answer from a set of answer options when given a passage and a
question. Thus in addition to a powerful Pre-trained Language Model (PrLM) as
encoder, multi-choice MRC especially relies on a matching network design which
is supposed to effectively capture the relationships among the triplet of
passage, question and answers. While the newer and more powerful PrLMs have
shown their mightiness even without the support from a matching network, we
propose a new DUal Multi-head Co-Attention (DUMA) model, which is inspired by
human's transposition thinking process solving the multi-choice MRC problem:
respectively considering each other's focus from the standpoint of passage and
question. The proposed DUMA has been shown effective and is capable of
generally promoting PrLMs. Our proposed method is evaluated on two benchmark
multi-choice MRC tasks, DREAM and RACE, showing that in terms of powerful
PrLMs, DUMA can still boost the model to reach new state-of-the-art
performance.
- Abstract(参考訳): mrc(multi-choice machine reading comprehension)は、文と質問が与えられたとき、答えの選択肢の集合から正しい答えを決定するモデルを必要とする。
したがって、エンコーダとしての強力な事前学習言語モデル(prlm)に加えて、マルチチョイスmrcは特に、通過、質問、回答の三重項間の関係を効果的に捉えるためのマッチングネットワーク設計に依存している。
より新しく、より強力なPrLMは、マッチングネットワークの支援なしにも、その強みを示してきたが、我々は、多選択MRC問題を解決する人間の転置思考プロセスにインスパイアされた、新しい Dual Multi-head Co-Attention (DUMA) モデルを提案する。
提案するDUMAは有効であることが示され,一般にPrLMを促進できる。
提案手法は,DREAM と RACE という2つのベンチマークマルチ選択型 MRC タスクで評価され,強力な PrLM の観点からも,DUMA は新たな最先端性能を実現するためにモデルを強化可能であることを示す。
関連論文リスト
- Generating Chain-of-Thoughts with a Direct Pairwise-Comparison Approach
to Searching for the Most Promising Intermediate Thought [75.42560889109559]
思考の連鎖(CoT)法は、大きな言語モデルにステップバイステップの推論を導くために提案された。
大規模言語モデル(LLM)による評価は一般的にノイズが多く、信頼性が低いため、生成プロセスの誤解を招く可能性がある。
本稿では,最も有望な思考を直接識別する比較に基づくCoT生成アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-10T09:51:03Z) - Prompt Highlighter: Interactive Control for Multi-Modal LLMs [54.53324095171722]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。
本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。
推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文 参考訳(メタデータ) (2023-12-07T13:53:29Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - Chain-of-Questions Training with Latent Answers for Robust Multistep
Question Answering [30.724851019764596]
Chain-of-Questionsは、モデルをトレーニングしてサブクエストを生成し、サブアンサーを一度に生成するフレームワークである。
我々はサブアンサーを潜伏変数として扱い、Hard-EMとMAPOの動的混合を用いてそれらを最適化する。
論文 参考訳(メタデータ) (2023-05-24T08:55:08Z) - IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn
Response Selection [4.471148909362883]
Graph Networkへのインプシット推論は、発話間の暗黙的な抽出と、発話とオプションの抽出を目的としている。
モデルは、初めて MuTual データセットで人のパフォーマンスを上回ります。
論文 参考訳(メタデータ) (2022-12-01T13:17:25Z) - KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive
Question Answering [28.18555591429343]
我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。
PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。
提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
論文 参考訳(メタデータ) (2022-05-06T08:31:02Z) - Lite Unified Modeling for Discriminative Reading Comprehension [68.39862736200045]
本稿では,多様な差別的MRCタスクを同期的に扱うために,POS強化反復協調ネットワーク(POI-Net)を提案する。
私たちのライト統一設計は、エンコーダコンポーネントとデコーダコンポーネントの両方で、モデルに大きな改善をもたらします。
4つの識別的MCCベンチマークによる評価結果から,本モデルの有効性と適用性について一貫した評価結果を得た。
論文 参考訳(メタデータ) (2022-03-26T15:47:19Z) - Improving Machine Reading Comprehension with Single-choice Decision and
Transfer Learning [18.81256990043713]
MMRC (Multi-choice Machine Reading) は、与えられたパスと質問に基づいて、オプションのセットから正しい回答を選択することを目的としている。
SQuADやDreamといった他のRCタスクから知識を伝達するのは簡単ではない。
我々は、ある解答が正しいかどうかを識別するために二分分類を訓練することにより、複数選択から単一選択へ再構成する。
論文 参考訳(メタデータ) (2020-11-06T11:33:29Z) - Composing Answer from Multi-spans for Reading Comprehension [77.32873012668783]
本稿では,非抽出機械読解(MRC)タスクに対する応答を生成する新しい手法を提案する。
提案手法は,長い解答を正確に生成する性能が向上し,競合する2つの典型的な1スパンとSeq2Seqのベースラインデコーダよりも大幅に向上する。
論文 参考訳(メタデータ) (2020-09-14T01:44:42Z) - Learning NP-Hard Multi-Agent Assignment Planning using GNN: Inference on
a Random Graph and Provable Auction-Fitted Q-learning [24.956507498394497]
本稿では,学習に基づくアルゴリズムを用いて,時間依存報酬を用いたマルチエージェント・マルチタスクNPハードプランニング問題をほぼ最適に解決する可能性について検討する。
論文 参考訳(メタデータ) (2019-05-29T04:02:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。