論文の概要: Merging Generated and Retrieved Knowledge for Open-Domain QA

• arxiv url: http://arxiv.org/abs/2310.14393v1
• Date: Sun, 22 Oct 2023 19:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 00:12:14.086231
• Title: Merging Generated and Retrieved Knowledge for Open-Domain QA
• Title（参考訳）: オープンドメインQAのためのマージと検索知識
• Authors: Yunxiang Zhang, Muhammad Khalifa, Lajanugen Logeswaran, Moontae Lee, Honglak Lee, Lu Wang
• Abstract要約: COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
• 参考スコア（独自算出の注目度）: 72.42262579925911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-domain question answering (QA) systems are often built with retrieval modules. However, retrieving passages from a given source is known to suffer from insufficient knowledge coverage. Alternatively, prompting large language models (LLMs) to generate contextual passages based on their parametric knowledge has been shown to improve QA performance. Yet, LLMs tend to "hallucinate" content that conflicts with the retrieved knowledge. Based on the intuition that answers supported by both sources are more likely to be correct, we propose COMBO, a Compatibility-Oriented knowledge Merging for Better Open-domain QA framework, to effectively leverage the two sources of information. Concretely, we match LLM-generated passages with retrieved counterparts into compatible pairs, based on discriminators trained with silver compatibility labels. Then a Fusion-in-Decoder-based reader model handles passage pairs to arrive at the final answer. Experiments show that COMBO outperforms competitive baselines on three out of four tested open-domain QA benchmarks. Further analysis reveals that our proposed framework demonstrates greater efficacy in scenarios with a higher degree of knowledge conflicts.
• Abstract（参考訳）: オープンドメイン質問応答(QA)システムは、しばしば検索モジュールで構築される。 しかし、あるソースからパスを取得することは知識の不足に悩まされることが知られている。 あるいは、大規模言語モデル(LLM)にパラメトリックな知識に基づいてコンテキストパスを生成するように促すことにより、QA性能が向上することが示されている。 しかし、LLMは取得した知識と矛盾するコンテンツを「幻滅させる」傾向がある。 両情報源が支持する回答が正しい可能性が高いという直感に基づいて,より優れたオープンドメインQAフレームワークのための互換性指向の知識統合であるCOMBOを提案し,その2つの情報源を効果的に活用する。 具体的には, 銀適合ラベルを学習した識別器に基づいて, LLM生成パスを抽出したパスと互換性のあるペアにマッチングする。 次に、Fusion-in-Decoderベースのリーダーモデルがパスペアを処理して最終回答に到達する。 実験の結果、COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っている。 さらに分析した結果,本手法は知識衝突の程度が高いシナリオにおいて有効性を示す。

関連論文リスト

• ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering [46.04261413492061]
  ZEBRAは、検索、ケースベースの推論、イントロスペクションを組み合わせたゼロショット質問応答フレームワークである。 入力質問が与えられた場合、ZEBRAは関連する質問知識ペアを知識ベースから検索し、これらのペアの関係性について推論することで新しい知識を生成する。 この生成された知識は入力された質問に答え、モデルの性能と解釈可能性を改善するために使用される。
  論文  参考訳（メタデータ） (2024-10-07T14:31:43Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering [17.672572064705445]
  CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。 我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:23:55Z)
• Open-domain Question Answering via Chain of Reasoning over Heterogeneous Knowledge [82.5582220249183]
  異種知識ソース間のシングル/マルチホップ質問に応答する新しいオープンドメイン質問応答(ODQA)フレームワークを提案する。 分離された証拠を収集するためにレトリバーにのみ依存する従来の方法とは異なり、我々の仲介者は検索された集合に対する推論の連鎖を実行する。 本システムは,2つのODQAデータセットであるOTT-QAとNQに対して,Wikipediaの表や節に対する競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-22T03:21:32Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。