論文の概要: Multi-modal Retrieval Augmented Multi-modal Generation: A Benchmark, Evaluate Metrics and Strong Baselines

• arxiv url: http://arxiv.org/abs/2411.16365v1
• Date: Mon, 25 Nov 2024 13:20:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:41.957951
• Title: Multi-modal Retrieval Augmented Multi-modal Generation: A Benchmark, Evaluate Metrics and Strong Baselines
• Title（参考訳）: マルチモーダル検索拡張マルチモーダル生成:ベンチマーク,メトリクス評価,強ベースライン
• Authors: Zi-Ao Ma, Tian Lan, Rong-Cheng Tu, Yong Hu, Heyan Huang, Xian-Ling Mao,
• Abstract要約: 本稿では,マルチモーダル検索拡張マルチモーダル生成(M$2$RAG)の興味深い課題について検討する。 このタスクでは,複数モーダルなWebページを閲覧し,テキストと画像が混在し,ユーザクエリを解決するためのマルチモーダルな応答を生成するための基礎モデルが必要である。 我々は,M$2$RAGタスクのベンチマークを構築し,既存の基礎モデルの能力を分析するために,テキストモーダルメトリクスとマルチモーダルメトリクスのセットを備える。
• 参考スコア（独自算出の注目度）: 63.427721165404634
• License:
• Abstract: This paper investigates an intriguing task of Multi-modal Retrieval Augmented Multi-modal Generation (M$^2$RAG). This task requires foundation models to browse multi-modal web pages, with mixed text and images, and generate multi-modal responses for solving user queries, which exhibits better information density and readability. Given the early researching stage of M$^2$RAG task, there is a lack of systematic studies and analysis. To fill this gap, we construct a benchmark for M$^2$RAG task, equipped with a suite of text-modal metrics and multi-modal metrics to analyze the capabilities of existing foundation models. Besides, we also propose several effective methods for foundation models to accomplish this task, based on the comprehensive evaluation results on our benchmark. Extensive experimental results reveal several intriguing phenomena worth further research.
• Abstract（参考訳）: 本稿では,M$^2$RAG(M$^2$RAG)の興味深い課題について検討する。 このタスクでは,複数モーダルなWebページの閲覧,テキストと画像の混合,ユーザクエリの解決のためのマルチモーダルな応答生成など,情報密度と可読性の向上が求められている。 M$^2$RAGタスクの初期の研究段階を考えると、体系的な研究や分析の欠如がある。 このギャップを埋めるために、既存の基礎モデルの能力を解析するためのテキスト・モーダル・メトリクスとマルチモーダル・メトリクスのセットを備えたM$^2$RAGタスクのベンチマークを構築した。 また,本研究の総合評価結果に基づいて,基礎モデルを用いた提案手法を提案する。 大規模な実験結果から、さらなる研究に値するいくつかの興味深い現象が明らかになった。

関連論文リスト

• Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation [2.549112678136113]
  Retrieval-Augmented Generation (RAG) は、外部の動的情報を統合することで問題を緩和する。 クロスモーダルアライメントと推論はMultimodal RAGに固有の課題をもたらし、従来の単調なRAGと区別する。 この調査は、より有能で信頼性の高いAIシステムを開発するための基盤となる。
  論文  参考訳（メタデータ） (2025-02-12T22:33:41Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• GME: Improving Universal Multimodal Retrieval by Multimodal LLMs [43.457928045291915]
  Universal Multimodal Retrieval (UMR) は、統一モデルを用いて様々なモダリティを探索することを目的としている。 これまで、テキストデータのみを用いてUMRを実現するためにMLLM(Multimodal large language model)を採用してきた。
  論文  参考訳（メタデータ） (2024-12-22T04:40:24Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• PIN: A Knowledge-Intensive Dataset for Paired and Interleaved Multimodal Documents [58.35492519636351]
  PINフォーマットは、知識の強度、スケーラビリティ、多様なトレーニングモダリティのサポートの3つの基本原則に基づいて構築されている。 PIN-14Mは中国語と英語の多種多様な情報源から得られた1400万のサンプルからなるオープンソースデータセットである。
  論文  参考訳（メタデータ） (2024-06-20T01:43:08Z)
• MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks [56.60050181186531]
  MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。 本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
  論文  参考訳（メタデータ） (2023-10-13T11:57:04Z)
• Multi-document Summarization: A Comparative Evaluation [0.0]
  本論文は,多文書要約(MDS)のための最先端モデルの評価を,様々な領域の異なるタイプのデータセット上で行うことを目的としている。 我々は,Big-SurveyおよびMS$2$データセット上でのPRIMERAおよびPEGモデルの性能を解析した。
  論文  参考訳（メタデータ） (2023-09-10T07:43:42Z)
• MELINDA: A Multimodal Dataset for Biomedical Experiment Method Classification [14.820951153262685]
  マルチモーダルbiomEdicaL experImeNtmethoD clAssificationのための新しいデータセット、MELINDAを紹介します。 データセットは、完全に自動化された遠隔監視方法で収集され、ラベルは既存のキュレーションデータベースから取得されます。 キャプションテキストまたは画像のみを入力として取得するユニモダルモデルを含む、さまざまな最先端のNLPおよびコンピュータビジョンモデルをベンチマークします。
  論文  参考訳（メタデータ） (2020-12-16T19:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。