論文の概要: RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering

• arxiv url: http://arxiv.org/abs/2501.13297v1
• Date: Thu, 23 Jan 2025 00:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:55.174008
• Title: RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
• Title（参考訳）: RAMQA: 検索強化マルチモーダル質問回答のための統一フレームワーク
• Authors: Yang Bai, Christan Earl Grant, Daisy Zhe Wang,
• Abstract要約: RAMQAは、学習からランクまでの手法と、生成的な置換によるランク付け技術を組み合わせた統一的なフレームワークである。 生成的ランキングモデルでは,文書候補から再ランク付けされた文書IDと特定の回答を生成する。
• 参考スコア（独自算出の注目度）: 9.915889321513678
• License:
• Abstract: Multi-modal retrieval-augmented Question Answering (MRAQA), integrating text and images, has gained significant attention in information retrieval (IR) and natural language processing (NLP). Traditional ranking methods rely on small encoder-based language models, which are incompatible with modern decoder-based generative large language models (LLMs) that have advanced various NLP tasks. To bridge this gap, we propose RAMQA, a unified framework combining learning-to-rank methods with generative permutation-enhanced ranking techniques. We first train a pointwise multi-modal ranker using LLaVA as the backbone. Then, we apply instruction tuning to train a LLaMA model for re-ranking the top-k documents using an innovative autoregressive multi-task learning approach. Our generative ranking model generates re-ranked document IDs and specific answers from document candidates in various permutations. Experiments on two MRAQA benchmarks, WebQA and MultiModalQA, show significant improvements over strong baselines, highlighting the effectiveness of our approach. Code and data are available at: https://github.com/TonyBY/RAMQA
• Abstract（参考訳）: テキストと画像を統合するMRAQA(Multi-modal search-augmented Question Answering)は,情報検索(IR)と自然言語処理(NLP)において注目されている。 従来のランキング法は、様々なNLPタスクを進歩させた現代のデコーダベースの生成型大言語モデル(LLM)と互換性のない、小さなエンコーダベースの言語モデルに依存している。 このギャップを埋めるために,学習からランクへの手法と生成順列強化の手法を組み合わせた統合フレームワークであるRAMQAを提案する。 まず、LLaVAをバックボーンとして、ポイントワイズマルチモーダルローダをトレーニングする。 そこで我々は,革新的自己回帰型マルチタスク学習アプローチを用いて,トップk文書の再ランク付けのためのLLaMAモデルをトレーニングするために,命令チューニングを適用した。 生成的ランキングモデルでは,文書候補から再ランク付けされた文書IDと特定の回答を生成する。 WebQAとMultiModalQAという2つのMRAQAベンチマークの実験では、強いベースラインよりも大幅に改善され、我々のアプローチの有効性が強調された。 コードとデータは、https://github.com/TonyBY/RAMQAで入手できる。

関連論文リスト

• MLLM Is a Strong Reranker: Advancing Multimodal Retrieval-augmented Generation via Knowledge-enhanced Reranking and Noise-injected Training [9.023648972811458]
  RagVLは、知識強化されたリグレードとノイズ注入トレーニングを備えた、新しいフレームワークである。 我々はMLLMに簡単な命令テンプレートを付与し、そのランク付け能力を誘導する。 例えば、データとトークンレベルでのトレーニング中に視覚ノイズを注入して、ジェネレータの堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-31T08:43:17Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• MMGRec: Multimodal Generative Recommendation with Transformer Model [81.61896141495144]
  MMGRecは、マルチモーダルレコメンデーションに生成パラダイムを導入することを目指している。 まず,階層的な量子化手法であるGraph CF-RQVAEを考案し,各項目にRec-IDを割り当てる。 次に、Transformerベースのレコメンデータをトレーニングし、過去のインタラクションシーケンスに基づいて、ユーザが推奨するアイテムのRec-IDを生成する。
  論文  参考訳（メタデータ） (2024-04-25T12:11:27Z)
• ProCQA: A Large-scale Community-based Programming Question Answering Dataset for Code Search [8.700556381819267]
  本稿では,StackOverflowコミュニティから抽出した大規模プログラミング質問応答データセットProCQAを紹介する。 そこで本研究では,既存の言語モデルのテキストとコード表現のアライメントを改善するために,モダリティに依存しないコントラスト付き事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-25T12:34:33Z)
• Hypergraph Enhanced Knowledge Tree Prompt Learning for Next-Basket Recommendation [50.55786122323965]
  次バスケットレコメンデーション(NBR)は、対応するバスケットシーケンスが与えられた次のバスケット内のアイテムを推論することを目的としている。 HEKP4NBRは知識グラフ(KG)をKTP(Knowledge Tree Prompt)と呼ばれるプロンプトに変換し、PLMがOOV(Out-Of-Vocabulary)アイテムIDをエンコードするのを助ける。 ハイパーグラフ畳み込みモジュールは、複数の側面からMoEモデルによって測定されたアイテム類似性に基づいてハイパーグラフを構築するように設計されている。
  論文  参考訳（メタデータ） (2023-12-26T02:12:21Z)
• End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
  ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。 本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。 ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T08:04:12Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation [33.56304858796142]
  マルチモーダルなマルチホップ質問応答は、異なるモーダルから複数の入力ソースを推論することで質問に答える。 既存の手法は、しばしば別々に証拠を検索し、その後言語モデルを使用して、得られた証拠に基づいて回答を生成する。 本稿では,これらの問題に対処するため,構造化知識と統一検索生成(RG)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:12:04Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。