論文の概要: Mixture of Experts for Biomedical Question Answering

• arxiv url: http://arxiv.org/abs/2204.07469v1
• Date: Fri, 15 Apr 2022 14:11:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 15:25:32.246403
• Title: Mixture of Experts for Biomedical Question Answering
• Title（参考訳）: バイオメディカル質問応答の専門家の混在
• Authors: Damai Dai, Wenbin Jiang, Jiyuan Zhang, Weihua Peng, Yajuan Lyu, Zhifang Sui, Baobao Chang, Yong Zhu
• Abstract要約: そこで我々はMOEBQAと呼ばれるMixture-of-Expert (MoE)ベースの質問応答手法を提案する。 MoEBQAはスパースルーティングによって異なるタイプの質問の計算を分離する。 実検に基づいて構築した3つのバイオメディカル質問応答(BQA)データセットのMOEBQAを評価する。
• 参考スコア（独自算出の注目度）: 34.92691831878302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biomedical Question Answering (BQA) has attracted increasing attention in recent years due to its promising application prospect. It is a challenging task because the biomedical questions are professional and usually vary widely. Existing question answering methods answer all questions with a homogeneous model, leading to various types of questions competing for the shared parameters, which will confuse the model decision for each single type of questions. In this paper, in order to alleviate the parameter competition problem, we propose a Mixture-of-Expert (MoE) based question answering method called MoEBQA that decouples the computation for different types of questions by sparse routing. To be specific, we split a pretrained Transformer model into bottom and top blocks. The bottom blocks are shared by all the examples, aiming to capture the general features. The top blocks are extended to an MoE version that consists of a series of independent experts, where each example is assigned to a few experts according to its underlying question type. MoEBQA automatically learns the routing strategy in an end-to-end manner so that each expert tends to deal with the question types it is expert in. We evaluate MoEBQA on three BQA datasets constructed based on real examinations. The results show that our MoE extension significantly boosts the performance of question answering models and achieves new state-of-the-art performance. In addition, we elaborately analyze our MoE modules to reveal how MoEBQA works and find that it can automatically group the questions into human-readable clusters.
• Abstract（参考訳）: bqa(biomedical question answering)は,近年,その応用可能性から注目を集めている。 バイオメディカルな疑問は専門的であり、通常は多岐にわたるため、これは難しい課題である。 既存の質問応答法は、全ての質問に同質なモデルで回答し、共有パラメーターに競合する様々な種類の質問を導き、各質問のモデル決定を混乱させる。 本稿では,パラメータ競合問題を緩和するために,分散ルーティングにより異なる種類の質問に対する計算を分離するmoebqa(mixed-of-expert)ベースの質問応答法を提案する。 具体的には、トレーニング済みのTransformerモデルをボトムブロックとトップブロックに分割した。 ボトムブロックはすべての例で共有され、一般的な機能をキャプチャすることを目的としている。 トップブロックは、一連の独立した専門家で構成されたMoEバージョンに拡張され、各サンプルは、基礎となる質問タイプに従って、少数の専門家に割り当てられる。 MoEBQAは、各専門家が専門とする質問タイプを扱う傾向にあるように、ルーティング戦略をエンドツーエンドで自動的に学習する。 実測に基づいて構築した3つのBQAデータセット上でMoEBQAを評価する。 その結果,MoE拡張により質問応答モデルの性能が大幅に向上し,新たな最先端性能が達成された。 さらに、MoEBQAがどのように動作するかを明らかにするために、我々のMoEモジュールを精巧に分析し、質問を自動的に人間可読クラスタに分類できることを見つけました。

関連論文リスト

• Unsupervised multiple choices question answering via universal corpus [27.78825771434918]
  本稿では,MCQAデータを生成するための新しいフレームワークを提案する。 我々は、名前付きエンティティ(NE)と知識グラフの両方を活用して、完全な合成サンプルを形成するための可視な乱れを発見する。
  論文  参考訳（メタデータ） (2024-02-27T09:10:28Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)
• MetaQA: Combining Expert Agents for Multi-Skill Question Answering [49.35261724460689]
  マルチデータセットモデルの有望な結果にもかかわらず、いくつかのドメインやQAフォーマットは特定のアーキテクチャを必要とするかもしれません。 本稿では,専門家エージェントと,質問,回答予測,回答予測信頼度スコアを考慮した,新しい,柔軟な,学習効率の高いアーキテクチャを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2021-12-03T14:05:52Z)
• Challenges in Generalization in Open Domain Question Answering [16.63912089965166]
  我々は,異なるレベルと種類の一般化を測る3つのカテゴリに従って,質問を導入し,注釈する。 主な課題は、検索コンポーネントからの誤りのカスケード、質問パターンの頻度、エンティティの頻度である。
  論文  参考訳（メタデータ） (2021-09-02T18:04:10Z)
• Joint Models for Answer Verification in Question Answering Systems [85.93456768689404]
  我々は3方向のマルチクラス化器を構築し、解答が他の解答をサポートするか、反証するか、あるいは中立かを決定する。 私たちは、WikiQA、TREC-QA、実世界のデータセットでモデルをテストしました。
  論文  参考訳（メタデータ） (2021-07-09T05:34:36Z)
• Sequence Tagging for Biomedical Extractive Question Answering [12.464143741310137]
  一般領域とバイオメディカル領域における質問分布の差異について検討する。 生命医学的な質問は、ファクトイド型回答(シングル回答)よりもリスト型回答(複数回答)を必要とすることが多い。 我々のアプローチは、トレーニングデータから質問に対する回答の数を決定することを学ぶことができる。
  論文  参考訳（メタデータ） (2021-04-15T15:42:34Z)
• ProtoQA: A Question Answering Dataset for Prototypical Common-Sense Reasoning [35.6375880208001]
  本稿では,人工知能システムの常識推論能力をトレーニングし,評価するための新しい質問応答データセットを提案する。 トレーニングセットは、長期にわたる国際ゲームショーFAMILY-FEUDでプレイされている既存の質問セットから収集される。 また,モデルがランク付けされた回答リストを出力しなければならない生成的評価タスクを提案する。
  論文  参考訳（メタデータ） (2020-05-02T09:40:05Z)
• Unsupervised Question Decomposition for Question Answering [102.56966847404287]
  本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。 当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
  論文  参考訳（メタデータ） (2020-02-22T19:40:35Z)
• ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
  本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。 われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
  論文  参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。