論文の概要: A Survey of Multimodal Composite Editing and Retrieval

• arxiv url: http://arxiv.org/abs/2409.05405v1
• Date: Mon, 9 Sep 2024 08:06:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:20:29.188047
• Title: A Survey of Multimodal Composite Editing and Retrieval
• Title（参考訳）: マルチモーダル複合編集と検索に関する調査
• Authors: Suyan Li, Fuxiang Huang, Lei Zhang,
• Abstract要約: この調査は、マルチモーダル複合検索に関する文献の総合的なレビューとしては初めてである。 画像テキスト合成編集、画像テキスト合成検索、その他のマルチモーダル合成検索をカバーしている。 アプリケーションシナリオ、メソッド、ベンチマーク、実験、将来の方向性を体系的に整理します。
• 参考スコア（独自算出の注目度）: 7.966265020507201
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the real world, where information is abundant and diverse across different modalities, understanding and utilizing various data types to improve retrieval systems is a key focus of research. Multimodal composite retrieval integrates diverse modalities such as text, image and audio, etc. to provide more accurate, personalized, and contextually relevant results. To facilitate a deeper understanding of this promising direction, this survey explores multimodal composite editing and retrieval in depth, covering image-text composite editing, image-text composite retrieval, and other multimodal composite retrieval. In this survey, we systematically organize the application scenarios, methods, benchmarks, experiments, and future directions. Multimodal learning is a hot topic in large model era, and have also witnessed some surveys in multimodal learning and vision-language models with transformers published in the PAMI journal. To the best of our knowledge, this survey is the first comprehensive review of the literature on multimodal composite retrieval, which is a timely complement of multimodal fusion to existing reviews. To help readers' quickly track this field, we build the project page for this survey, which can be found at https://github.com/fuxianghuang1/Multimodal-Composite-Editing-and-Retrieval.
• Abstract（参考訳）: 情報が多様で多様である実世界では、検索システムを改善するために様々なデータ型を理解し、活用することが研究の焦点となっている。 マルチモーダル合成検索は、テキスト、画像、オーディオなどの様々なモダリティを統合し、より正確でパーソナライズされ、文脈に関連のある結果を提供する。 本研究は, 画像テキスト合成編集, 画像テキスト合成検索, その他のマルチモーダル合成検索を網羅し, 多モーダル合成編集と深度検索について深く理解することを目的としている。 本調査では,アプリケーションシナリオ,メソッド,ベンチマーク,実験,今後の方向性を体系的に整理する。 マルチモーダル学習は大規模モデル時代においてホットな話題であり、PAMIジャーナルに発表されたトランスフォーマーを用いたマルチモーダル学習および視覚言語モデルに関するいくつかの調査も見てきた。 我々の知る限り、本調査は、既存のレビューに対するマルチモーダル融合をタイムリーに補完する、マルチモーダル複合検索に関する文献の総合的なレビューである。 この調査はhttps://github.com/fuxianghuang1/Multimodal-Composite-Editing-and-Retrievalで見ることができる。

関連論文リスト

• Multimodal Alignment and Fusion: A Survey [7.250878248686215]
  マルチモーダル統合により、モデルの精度と適用性が改善される。 我々は既存のアライメントと融合の手法を体系的に分類し分析する。 この調査は、ソーシャルメディア分析、医療画像、感情認識といった分野の応用に焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-26T02:10:27Z)
• MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
  本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。 まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。 我々は,MLLMレトリバーが提示するモダリティバイアスを軽減するために,モダリティを考慮したハードネガティブマイニングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T20:06:34Z)
• Smart Multi-Modal Search: Contextual Sparse and Dense Embedding Integration in Adobe Express [3.8973445113342433]
  スケーラブルなマルチモーダル検索システムを構築するには、いくつかのコンポーネントを微調整する必要がある。 埋め込みモデル選択、マッチングとランク付けにおける埋め込みの役割、密着と疎着のバランス等について考察する。
  論文  参考訳（メタデータ） (2024-08-26T23:52:27Z)
• Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object Detection [72.36017150922504]
  教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。 多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
  論文  参考訳（メタデータ） (2023-08-30T08:33:13Z)
• Multimodality Representation Learning: A Survey on Evolution, Pretraining and Its Applications [47.501121601856795]
  マルチモダリティ表現学習は、異なるモダリティとそれらの相関から情報を埋め込む学習手法である。 異なるモダリティからのクロスモーダル相互作用と補完情報は、高度なモデルが任意のマルチモーダルタスクを実行するために不可欠である。 本調査では,深層学習型マルチモーダルアーキテクチャの進化と拡張に関する文献を報告する。
  論文  参考訳（メタデータ） (2023-02-01T11:48:34Z)
• Named Entity and Relation Extraction with Multi-Modal Retrieval [51.660650522630526]
  マルチモーダルな名前付きエンティティ認識(NER)と関係抽出(RE)は、関連画像情報を活用してNERとREの性能を向上させることを目的としている。 新たなマルチモーダル検索フレームワーク(MoRe)を提案する。 MoReはテキスト検索モジュールと画像ベースの検索モジュールを含み、入力されたテキストと画像の関連知識をそれぞれ知識コーパスで検索する。
  論文  参考訳（メタデータ） (2022-12-03T13:11:32Z)
• Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion [112.27103169303184]
  マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。 MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
  論文  参考訳（メタデータ） (2022-05-04T23:40:04Z)
• Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
  マルチモーダル画像合成と編集は 近年 ホットな研究テーマになっている。 近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。 ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
  論文  参考訳（メタデータ） (2021-12-27T10:00:16Z)
• Multi-modal Summarization for Video-containing Documents [23.750585762568665]
  本稿では,文書とその関連ビデオから要約する,新しいマルチモーダル要約タスクを提案する。 総合的な実験により,提案手法は複数モーダル要約に有用であり,既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-17T02:13:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。