論文の概要: Any Information Is Just Worth One Single Screenshot: Unifying Search With Visualized Information Retrieval
- arxiv url: http://arxiv.org/abs/2502.11431v1
- Date: Mon, 17 Feb 2025 04:40:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:12:37.083923
- Title: Any Information Is Just Worth One Single Screenshot: Unifying Search With Visualized Information Retrieval
- Title（参考訳）: どんな情報でも1枚のスクリーンショットが撮れる: ビジュアルな情報検索で検索を統一
- Authors: Ze Liu, Zhengyang Liang, Junjie Zhou, Zheng Liu, Defu Lian,
- Abstract要約: textitVisualized Information Retrieval または textbfVis-IR と呼ばれる新しいIRパラダイムを定義し,マルチモーダル情報を統一された視覚形式で表現する。
まず、さまざまなソースから大量のスクリーンショットを収集した大規模なデータセットである textbfVIRA (Vis-IR Aggregation) を作成します。
第2に textbfUniSE (Universal Screenshot Embeddings) という,スクリーンショットのクエリやクエリを可能な検索モデルのファミリーを開発する。
- 参考スコア（独自算出の注目度）: 33.6584861832657
- License:
- Abstract: With the popularity of multimodal techniques, it receives growing interests to acquire useful information in visual forms. In this work, we formally define an emerging IR paradigm called \textit{Visualized Information Retrieval}, or \textbf{Vis-IR}, where multimodal information, such as texts, images, tables and charts, is jointly represented by a unified visual format called \textbf{Screenshots}, for various retrieval applications. We further make three key contributions for Vis-IR. First, we create \textbf{VIRA} (Vis-IR Aggregation), a large-scale dataset comprising a vast collection of screenshots from diverse sources, carefully curated into captioned and question-answer formats. Second, we develop \textbf{UniSE} (Universal Screenshot Embeddings), a family of retrieval models that enable screenshots to query or be queried across arbitrary data modalities. Finally, we construct \textbf{MVRB} (Massive Visualized IR Benchmark), a comprehensive benchmark covering a variety of task forms and application scenarios. Through extensive evaluations on MVRB, we highlight the deficiency from existing multimodal retrievers and the substantial improvements made by UniSE. Our work will be shared with the community, laying a solid foundation for this emerging field.
- Abstract（参考訳）: マルチモーダル技術の普及に伴い、視覚的な形で有用な情報を取得することへの関心が高まっている。
本研究では,テキスト,画像,テーブル,チャートなどのマルチモーダル情報を,さまざまな検索アプリケーションに対して統合された視覚形式で表現する,新たなIRパラダイムである‘textit{Visualized Information Retrieval} または \textbf{Vis-IR} を正式に定義する。
Vis-IRには3つの重要なコントリビューションがあります。
まず、さまざまなソースから大量のスクリーンショットを収集した大規模なデータセットである \textbf{VIRA} (Vis-IR Aggregation) を作成し、キャプション付きおよび質問応答形式に慎重にキュレートする。
第2に,任意のデータモダリティに対して,スクリーンショットのクエリやクエリを可能にする検索モデルのファミリであるtextbf{UniSE} (Universal Screenshot Embeddings) を開発する。
最後に,様々なタスク形式やアプリケーションシナリオを網羅した総合ベンチマークであるtextbf{MVRB} (Massive Visualized IR Benchmark) を構築した。
MVRBに関する広範な評価を通じて、既存のマルチモーダルレトリバーの欠如と、UniSEによる実質的な改善を強調した。
私たちの仕事はコミュニティと共有され、この新興分野の確固たる基盤を築きます。
関連論文リスト
- CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [56.691926887209895]
textbfInformation textbfRetrieval Benchmark(textbfInformation textbfRetrieval Benchmark)は,コード検索機能の評価に特化して設計された,堅牢で包括的なベンチマークである。
名前は、Textbftenを巧みにキュレートしたコードデータセットから成り、textbfs7の異なるドメインにまたがる、textbfeight特有の検索タスクにまたがる。
我々は9つの広く使われている検索モデルを名前を用いて評価し、最先端のシステムであってもコード検索タスクの実行に重大な困難を見出した。
論文 参考訳（メタデータ） (2024-07-03T07:58:20Z) - VISTA: Visualized Text Embedding For Universal Multi-Modal Retrieval [10.603148564713518]
汎用マルチモーダル検索のための新しい埋め込みモデルVISTAを提案する。
画像理解機能を備えた強力なテキストエンコーダを拡張するフレキシブルアーキテクチャを導入する。
第2に,埋め込みモデルのトレーニングを容易にするために,高品質な合成画像テキストを提供する2つのデータ生成戦略を開発する。
論文 参考訳（メタデータ） (2024-06-06T17:37:47Z) - UniIR: Training and Benchmarking Universal Multimodal Information
Retrievers [76.06249845401975]
命令誘導型マルチモーダルレトリバーであるUniIRを導入する。
UniIRは、10の多様なマルチモーダル-IRデータセットで共同で訓練された単一の検索システムであり、様々な検索タスクを実行するためにユーザー命令を解釈する。
我々は,汎用マルチモーダル情報検索の評価を標準化するために,総合的な結果を持つマルチモーダル検索ベンチマークであるM-BEIRを構築した。
論文 参考訳（メタデータ） (2023-11-28T18:55:52Z) - ViCLEVR: A Visual Reasoning Dataset and Hybrid Multimodal Fusion Model
for Visual Question Answering in Vietnamese [1.6340299456362617]
ベトナムにおける様々な視覚的推論能力を評価するための先駆的な収集であるViCLEVRデータセットを紹介した。
我々は、現代の視覚的推論システムの包括的な分析を行い、その強みと限界についての貴重な洞察を提供する。
PhoVITは、質問に基づいて画像中のオブジェクトを識別する総合的なマルチモーダル融合である。
論文 参考訳（メタデータ） (2023-10-27T10:44:50Z) - Learning Comprehensive Representations with Richer Self for
Text-to-Image Person Re-Identification [34.289949134802086]
TIReID(Text-to-image person re-identification)は、クエリテキストに基づいて同一人物の歩行者画像を取得する。
既存のTIReIDの手法では、通常は1対1の画像テキストマッチングの問題として扱われ、ビュー内の画像テキストペア間の関係にのみ焦点をあてる。
我々はLCR$2$Sと呼ばれるフレームワークを提案し、新しい視点から両方のモダリティの表現を学習することで同一のアイデンティティの多対多対応をモデル化する。
論文 参考訳（メタデータ） (2023-10-17T12:39:16Z) - End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。
本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。
ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-01T08:04:12Z) - EDIS: Entity-Driven Image Search over Multimodal Web Content [95.40238328527931]
textbfEntity-textbfDriven textbfImage textbfSearch (EDIS)は、ニュース領域におけるクロスモーダル画像検索のためのデータセットである。
EDISは、実際の検索エンジンの結果から100万のWebイメージとキュレートされたデータセットで構成され、各イメージはテキスト記述と組み合わせられている。
論文 参考訳（メタデータ） (2023-05-23T02:59:19Z) - Information Screening whilst Exploiting! Multimodal Relation Extraction
with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。
内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-19T14:56:57Z) - HGAN: Hierarchical Graph Alignment Network for Image-Text Retrieval [13.061063817876336]
画像テキスト検索のための階層型グラフアライメントネットワーク(HGAN)を提案する。
まず、包括的マルチモーダル特徴を捉えるために、画像の特徴グラフとテキストのモダリティをそれぞれ構築する。
そして、MFAR(Multi-granularity Feature Aggregation and Rearrangement)モジュールを設計した多粒性共有空間を構築する。
最後に、最終的な画像とテキストの特徴は、階層的アライメントを達成するために、3レベル類似関数によってさらに洗練される。
論文 参考訳（メタデータ） (2022-12-16T05:08:52Z) - Named Entity and Relation Extraction with Multi-Modal Retrieval [51.660650522630526]
マルチモーダルな名前付きエンティティ認識(NER)と関係抽出(RE)は、関連画像情報を活用してNERとREの性能を向上させることを目的としている。
新たなマルチモーダル検索フレームワーク(MoRe)を提案する。
MoReはテキスト検索モジュールと画像ベースの検索モジュールを含み、入力されたテキストと画像の関連知識をそれぞれ知識コーパスで検索する。
論文 参考訳（メタデータ） (2022-12-03T13:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。