論文の概要: Differentiating Choices via Commonality for Multiple-Choice Question Answering

• arxiv url: http://arxiv.org/abs/2408.11554v1
• Date: Wed, 21 Aug 2024 12:05:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 17:07:27.295525
• Title: Differentiating Choices via Commonality for Multiple-Choice Question Answering
• Title（参考訳）: 複数の質問応答に対する共通性による選択の差別化
• Authors: Wenqing Deng, Zhe Wang, Kewen Wang, Shirui Pan, Xiaowang Zhang, Zhiyong Feng,
• Abstract要約: 複数選択の質問応答は、正しい答えを選択するための貴重な手がかりを提供することができる。 既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。 本稿では,DCQAと呼ばれる共通性を識別・排除することで,選択を識別する新しいモデルを提案する。
• 参考スコア（独自算出の注目度）: 54.04315943420376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple-choice question answering (MCQA) becomes particularly challenging when all choices are relevant to the question and are semantically similar. Yet this setting of MCQA can potentially provide valuable clues for choosing the right answer. Existing models often rank each choice separately, overlooking the context provided by other choices. Specifically, they fail to leverage the semantic commonalities and nuances among the choices for reasoning. In this paper, we propose a novel MCQA model by differentiating choices through identifying and eliminating their commonality, called DCQA. Our model captures token-level attention of each choice to the question, and separates tokens of the question attended to by all the choices (i.e., commonalities) from those by individual choices (i.e., nuances). Using the nuances as refined contexts for the choices, our model can effectively differentiate choices with subtle differences and provide justifications for choosing the correct answer. We conduct comprehensive experiments across five commonly used MCQA benchmarks, demonstrating that DCQA consistently outperforms baseline models. Furthermore, our case study illustrates the effectiveness of the approach in directing the attention of the model to more differentiating features.
• Abstract（参考訳）: 複数選択質問応答(MCQA)は、すべての選択が質問に関連があり、意味的に類似している場合、特に困難になる。 しかし、このMCQAの設定は、正しい答えを選択するための貴重な手がかりを提供する可能性がある。 既存のモデルでは、それぞれの選択を別々にランク付けし、他の選択によって提供されるコンテキストを見渡すことが多い。 具体的には、推論の選択の中で意味的な共通点やニュアンスを活用できない。 本稿では,DCQAと呼ばれる共通性を識別・排除し,選択を識別する新しいMCQAモデルを提案する。 我々のモデルは、質問に対する各選択のトークンレベルの注意を捉え、質問のトークンを全ての選択(すなわち、共通点)と個々の選択(すなわち、ニュアンス)で区別する。 ニュアンスを選択の洗練された文脈として使用することにより、我々のモデルは微妙な違いで選択を効果的に区別し、正しい答えを選択するための正当化を提供することができる。 我々は5つのMCQAベンチマークの総合的な実験を行い、DCQAがベースラインモデルより一貫して優れていることを示した。 さらに,本ケーススタディでは,モデルの注意をより異なる特徴に向けることで,アプローチの有効性を示す。

関連論文リスト

• Answer, Assemble, Ace: Understanding How Transformers Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,関連する情報を符号化するキー隠蔽状態をローカライズするために,語彙投影とアクティベーションパッチ手法を用いる。 特定の回答記号の予測は、一つの中間層、特にその多頭部自己認識機構に因果関係があることが示される。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• Transfer Learning Enhanced Single-choice Decision for Multi-choice Question Answering [27.601353412882258]
  MMRC (Multi-choice Machine Reading) は、与えられたパスと質問に基づいて、オプションのセットから正しい回答を選択することを目的としている。 本稿では,ある解答が正しいかどうかを識別するために,二項分類を訓練することにより,複数選択を単一選択に再構成する。 提案手法はマルチ選択フレームワークを排除し,他のタスクのリソースを活用できる。
  論文  参考訳（メタデータ） (2024-04-27T16:02:55Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)
• Leveraging Large Language Models for Multiple Choice Question Answering [6.198523595657983]
  MCSB能力が高いモデルは、従来のアプローチよりも自然なアプローチの方がはるかに優れていることを示す。 MCSB能力が高いモデルは、従来のアプローチよりも自然なアプローチの方がはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-22T05:04:54Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)
• Improving Machine Reading Comprehension with Single-choice Decision and Transfer Learning [18.81256990043713]
  MMRC (Multi-choice Machine Reading) は、与えられたパスと質問に基づいて、オプションのセットから正しい回答を選択することを目的としている。 SQuADやDreamといった他のRCタスクから知識を伝達するのは簡単ではない。 我々は、ある解答が正しいかどうかを識別するために二分分類を訓練することにより、複数選択から単一選択へ再構成する。
  論文  参考訳（メタデータ） (2020-11-06T11:33:29Z)
• MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for Answer Selection [59.95429407899612]
  そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。 我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。 我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-10T10:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。