論文の概要: Enhancing Multi-modal and Multi-hop Question Answering via Structured
Knowledge and Unified Retrieval-Generation
- arxiv url: http://arxiv.org/abs/2212.08632v1
- Date: Fri, 16 Dec 2022 18:12:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 14:28:13.698913
- Title: Enhancing Multi-modal and Multi-hop Question Answering via Structured
Knowledge and Unified Retrieval-Generation
- Title(参考訳): 構造化知識と統一検索生成によるマルチモーダル・マルチホップ質問応答の強化
- Authors: Qian Yang, Qian Chen, Wen Wang, Baotian Hu, Min Zhang
- Abstract要約: マルチモーダルおよびマルチホップ質問応答は、異なるモーダルから複数の入力源に基づいて質問に答えることを目的としている。
それまでの方法は、証拠を別々に回収し、得られた証拠を言語モデルに供給し、対応する回答を生成する。
構造化知識と統一検索生成手法(SKURG)を提案する。
- 参考スコア(独自算出の注目度): 33.56304858796142
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-modal and multi-hop question answering aims to answer a question based
on multiple input sources from different modalities. Previous methods retrieve
the evidence separately and feed the retrieved evidence to a language model to
generate the corresponding answer. However, these methods fail to build
connections between candidates and thus cannot model the inter-dependent
relation during retrieval. Moreover, the reasoning process over multi-modality
candidates can be unbalanced without building alignments between different
modalities. To address this limitation, we propose a Structured Knowledge and
Unified Retrieval Generation based method (SKURG). We align the sources from
different modalities via the shared entities and map them into a shared
semantic space via structured knowledge. Then, we utilize a unified
retrieval-generation decoder to integrate intermediate retrieval results for
answer generation and adaptively determine the number of retrieval steps. We
perform experiments on two multi-modal and multi-hop datasets: WebQA and
MultimodalQA. The results demonstrate that SKURG achieves state-of-the-art
performance on both retrieval and answer generation.
- Abstract(参考訳): マルチモーダルおよびマルチホップ質問応答は、異なるモーダルから複数の入力源に基づいて質問に答えることを目的としている。
以前の方法は、証拠を別々に検索し、検索した証拠を言語モデルに供給して対応する回答を生成する。
しかし、これらの手法は、候補間の接続を構築できないため、検索中に相互依存関係をモデル化できない。
さらに、マルチモダリティ候補に対する推論過程は、異なるモダリティ間のアライメントを構築することなく不均衡となる。
この制限に対処するために、構造化知識と統一検索生成法(SKURG)を提案する。
我々は、共有エンティティを介して異なるモダリティからソースを調整し、構造化された知識を介して共有セマンティック空間にマッピングする。
次に,統合検索生成デコーダを用いて,回答生成のための中間検索結果を統合し,検索ステップ数を適応的に決定する。
我々はWebQAとMultimodalQAという2つのマルチモーダルおよびマルチホップデータセットの実験を行った。
その結果,SKURGは検索および回答生成の両面で最先端の性能を発揮することがわかった。
関連論文リスト
- RAG-Fusion: a New Take on Retrieval-Augmented Generation [0.0]
Infineonは、エンジニア、アカウントマネージャ、顧客が迅速に製品情報を取得する必要性を特定している。
この研究は人工知能(AI)と自然言語処理(NLP)の応用において大きな進歩をみせている。
論文 参考訳(メタデータ) (2024-01-31T22:06:07Z) - UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models [22.457013726785295]
textbfUnified textbfGenerative framework for search and question answering。
UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
論文 参考訳(メタデータ) (2023-12-18T09:13:41Z) - Jaeger: A Concatenation-Based Multi-Transformer VQA Model [0.13654846342364307]
文書に基づく視覚質問応答は,言語感覚の曖昧さと細粒度マルチモーダル検索の間に難しい課題を生じさせる。
本稿では,結合型マルチトランスVQAモデルであるJaegarを提案する。
我々のアプローチは、結合によってこれらのモデルの性能を増幅する可能性がある。
論文 参考訳(メタデータ) (2023-10-11T00:14:40Z) - End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。
本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。
ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-01T08:04:12Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳(メタデータ) (2022-12-02T04:08:09Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - MetaQA: Combining Expert Agents for Multi-Skill Question Answering [49.35261724460689]
マルチデータセットモデルの有望な結果にもかかわらず、いくつかのドメインやQAフォーマットは特定のアーキテクチャを必要とするかもしれません。
本稿では,専門家エージェントと,質問,回答予測,回答予測信頼度スコアを考慮した,新しい,柔軟な,学習効率の高いアーキテクチャを組み合わせることを提案する。
論文 参考訳(メタデータ) (2021-12-03T14:05:52Z) - Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。
我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
論文 参考訳(メタデータ) (2020-05-24T11:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。