論文の概要: Adaptive Question Answering: Enhancing Language Model Proficiency for Addressing Knowledge Conflicts with Source Citations

• arxiv url: http://arxiv.org/abs/2410.04241v1
• Date: Tue, 29 Oct 2024 17:12:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 08:59:37.502385
• Title: Adaptive Question Answering: Enhancing Language Model Proficiency for Addressing Knowledge Conflicts with Source Citations
• Title（参考訳）: Adaptive Question Answering: Enhancing Language Model Prociciency for addressing Knowledge Conflicts with Source Citations
• Authors: Sagi Shaier, Ari Kobren, Philip Ogren,
• Abstract要約: 本稿では,複数の有効な回答が存在するあいまいな環境下で,ソースを引用した質問応答のタスクを提案する。 1)新しい5つのデータセット,(2)実世界の自然発生コンテキストを特徴とする最初のあいまいなマルチホップQAデータセット,(3)モデルの性能を評価するための2つの新しい指標からなる包括的フレームワークを構築した。 この新しいタスク、データセット、メトリクス、ベースラインは、コミュニティにQA研究の境界を押し進め、より信頼できる、解釈可能なシステムを開発するよう促すことを期待しています。
• 参考スコア（独自算出の注目度）: 3.3018718917393297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Resolving knowledge conflicts is a crucial challenge in Question Answering (QA) tasks, as the internet contains numerous conflicting facts and opinions. While some research has made progress in tackling ambiguous settings where multiple valid answers exist, these approaches often neglect to provide source citations, leaving users to evaluate the factuality of each answer. On the other hand, existing work on citation generation has focused on unambiguous settings with single answers, failing to address the complexity of real-world scenarios. Despite the importance of both aspects, no prior research has combined them, leaving a significant gap in the development of QA systems. In this work, we bridge this gap by proposing the novel task of QA with source citation in ambiguous settings, where multiple valid answers exist. To facilitate research in this area, we create a comprehensive framework consisting of: (1) five novel datasets, obtained by augmenting three existing reading comprehension datasets with citation meta-data across various ambiguous settings, such as distractors and paraphrasing; (2) the first ambiguous multi-hop QA dataset featuring real-world, naturally occurring contexts; (3) two new metrics to evaluate models' performances; and (4) several strong baselines using rule-based, prompting, and finetuning approaches over five large language models. We hope that this new task, datasets, metrics, and baselines will inspire the community to push the boundaries of QA research and develop more trustworthy and interpretable systems.
• Abstract（参考訳）: インターネットには多くの矛盾する事実や意見が含まれているため、知識紛争の解決は質問回答(QA)タスクにおいて重要な課題である。 いくつかの研究では、複数の有効な回答が存在するあいまいな状況に対処する研究が進んでいるが、これらのアプローチはソースの引用を無視することが多く、ユーザーは各回答の事実性を評価する必要がある。 一方、引用生成に関する既存の研究は、一つの答えを持つ曖昧な設定に焦点を合わせており、現実のシナリオの複雑さに対処することができない。 両面の重要性にもかかわらず、先行研究が組み合わさっておらず、QAシステムの開発に大きなギャップが残されている。 本稿では、このギャップを、複数の有効な答えが存在する曖昧な環境で、ソースの引用を伴うQAの新たなタスクを提案することによって埋める。 本研究を円滑に進めるために,(1)注意喚起やパラフレージングなど,さまざまなあいまいな設定で引用メタデータを用いた3つの既存読解データセットを拡張した5つの新しいデータセット,(2)実世界の自然発生状況を考慮した最初のあいまいなマルチホップQAデータセット,(3)モデルのパフォーマンスを評価するための2つの新しい指標,(4)ルールベース,プロンプト,ファインタリングの5つの大きな言語モデルに対するアプローチを用いた強力なベースライン,からなる包括的フレームワークを構築した。 この新しいタスク、データセット、メトリクス、ベースラインは、コミュニティにQA研究の境界を押し進め、より信頼できる、解釈可能なシステムを開発するよう促すことを期待しています。

関連論文リスト

• Teaching Smaller Language Models To Generalise To Unseen Compositional Questions (Full Thesis) [0.0]
  私たちは、検索したコンテキストを推論する能力を注入することで、さまざまな質問に答えるようにモデルを訓練します。 2つの知識ソースからコンテキストを取得し、ウィキペディアコーパスは、新しい拡張を持つマルチホップ高密度検索システムを用いてクエリし、より大規模な言語モデルから生成された論理から、より低いリソース環境下での動作を最適化した。
  論文  参考訳（メタデータ） (2024-11-25T23:25:34Z)
• Enhancing Textbook Question Answering Task with Large Language Models and Retrieval Augmented Generation [3.948068081583197]
  本稿では,テキスト質問応答(TQA)における領域外シナリオを扱う手法を提案する。 LLMモデルLlama-2の微調整とRAGの導入により、我々のアーキテクチャはベースラインよりも優れ、検証セットでは4.12%、非ダイアグラム多重選択質問では9.84%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-02-05T11:58:56Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)
• Dual Semantic Knowledge Composed Multimodal Dialog Systems [114.52730430047589]
  本稿では,MDS-S2という新しいマルチモーダルタスク指向対話システムを提案する。 コンテキスト関連属性と関係知識を知識ベースから取得する。 また、合成された応答表現から意味情報を抽出するために、潜在クエリ変数のセットを考案する。
  論文  参考訳（メタデータ） (2023-05-17T06:33:26Z)
• Modern Question Answering Datasets and Benchmarks: A Survey [5.026863544662493]
  質問回答(QA)は、自然言語処理(NLP)の最も重要なタスクの一つである。 NLP技術を用いて、大量の非構造化コーパスに基づいて、与えられた質問に対する対応する回答を生成することを目的としている。 本稿では,ディープラーニングの時代にリリースされた,影響力あるQAデータセットについて検討する。
  論文  参考訳（メタデータ） (2022-06-30T05:53:56Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)
• Knowledgeable Dialogue Reading Comprehension on Key Turns [84.1784903043884]
  MRC(Multi-choice Machine reading comprehension)は、ある項目と質問に対する候補オプションから正しい回答を選択するモデルである。 本研究は,複数回対話を行う対話型MRCに焦点を当てている。 それは2つの課題に悩まされ、答えの選択決定は、最近役に立つコモンセンスをサポートせずに行われ、マルチターンコンテキストは、かなりの無関係な情報を隠蔽する可能性がある。
  論文  参考訳（メタデータ） (2020-04-29T07:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。