論文の概要: Towards High-Performance Multimodal Discovery: Evaluating Retrieval Efficacy and Operational Scalability in Digital Libraries
- arxiv url: http://arxiv.org/abs/2611.17726v1
- Date: Fri, 13 Nov 2026 04:16:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.30136
- Title: Towards High-Performance Multimodal Discovery: Evaluating Retrieval Efficacy and Operational Scalability in Digital Libraries
- Title(参考訳): 高性能マルチモーダルディスカバリに向けて:デジタルライブラリの検索効率と操作性の評価
- Abstract要約: 本研究は、意味的精度とアーキテクチャのスケーラビリティの両方を包含したマルチモーダル検索環境の評価である。
本研究は,視覚的特徴とテキスト的特徴を統合することで,関連物質の発見が著しく促進されることを示す。
この結果から,VLMをベースとした埋め込みを実運用可能なライブラリスケールの発見ソリューションに変換する上で,最適化されたベクトルデータベース構成が重要な要素であることが示唆された。
- 参考スコア(独自算出の注目度): 0.3914676152740142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale digital repositories with million plus digitized volumes serve as vital engines for scientific and scholarly discovery. However, as collections grow, finding specific research or educational material remains a significant challenge. This difficulty is compounded by the multimodal nature of texts, that is, texts which combine dense narrative content with essential illustrative charts, annotated diagrams, and complex layouts. Historically, discovery has been supported by full-text search indexes implemented as inverted indexes (e.g., Lucene or Solr). While these systems scale well for textual strings, they are fundamentally "blind" to the semantic nuance of visual information. We explore the benefit of discovery through texts that have been converted to numerical vectors. By representing page images as numerical vectors rather than OCR-extracted text, and doing so for both text and images on a page, we capture both textual and visual semantics while mitigating reverse engineering and copyright infringement concerns. The primary contribution of this research is an evaluation of the multimodal retrieval landscape, encompassing both semantic precision and architectural scalability. Our findings demonstrate that integrating visual and textual features significantly enhances the discovery of relevant material, particularly in domains where diagrammatic content is essential for conceptual understanding. We assess retrieval efficacy, demonstrating that the system achieves sub-linear scalability. Our findings suggest that an optimized vector database configuration is the critical factor in transforming VLM-based embeddings into a production-ready, library-scale discovery solution.
- Abstract(参考訳): 大規模デジタルレポジトリは、100万とデジタル化されたボリュームを持ち、科学的および学術的な発見のための重要なエンジンとなっている。
しかし、収集物が増えていくにつれて、特定の研究や教育資料を見つけることは大きな課題である。
この難しさは、高密度な物語の内容と本質的な図表、注釈付き図形、複雑なレイアウトを組み合わせたテキストのマルチモーダルな性質によって複雑化されている。
歴史的に、発見は逆インデックス(例: Lucene、Solr)として実装されたフルテキスト検索インデックスによってサポートされている。
これらのシステムはテキスト文字列に対してうまくスケールするが、基本的には視覚情報の意味的ニュアンスに対して「盲」である。
数値ベクトルに変換されたテキストによる発見の利点を探求する。
OCR抽出されたテキストではなく、ページイメージを数値ベクトルとして表現し、ページ上のテキストと画像の両方に対してそれをすることで、リバースエンジニアリングと著作権侵害の懸念を緩和しながら、テキストと視覚の両方の意味をキャプチャする。
この研究の主な貢献は、意味的精度とアーキテクチャのスケーラビリティの両方を含むマルチモーダル検索環境の評価である。
本研究は,視覚的特徴とテキスト的特徴を統合することで,特に図形コンテンツが概念的理解に欠かせない領域において,関連物質の発見が著しく促進されることを示す。
検索の有効性を評価し,サブ線形スケーラビリティの実現を実証する。
この結果から,VLMをベースとした埋め込みを実運用可能なライブラリスケールの発見ソリューションに変換する上で,最適化されたベクトルデータベース構成が重要な要素であることが示唆された。
関連論文リスト
- Intelligent Scientific Literature Explorer using Machine Learning (ISLE) [0.797970449705065]
本稿では,大規模データ取得,ハイブリッド検索,セマンティックトピックモデリング,異種知識グラフ構築を組み合わせた科学文献探索システムを提案する。
提案するフレームワークは,AIによる科学的発見の基盤となる。
論文 参考訳(メタデータ) (2025-12-14T16:54:24Z) - Vector embedding of multi-modal texts: a tool for discovery? [0.45880283710344055]
本研究では,ベクトルベースのマルチモーダル検索が,マルチモーダル(テキストと画像)コンテンツ間の発見をいかに改善できるかを検討する。
我々はコンピュータサイエンス教科書と視覚言語モデル(VLM)を中心に,3600以上のデジタル化された教科書ページを使用している。
本稿では,75の自然言語クエリのベンチマークを発行し,検索性能を4つの類似性(距離)尺度で比較する。
論文 参考訳(メタデータ) (2025-09-10T01:14:48Z) - Visual Text Processing: A Comprehensive Review and Unified Evaluation [99.57846940547171]
視覚テキスト処理における最近の進歩を包括的・多視点的に分析する。
本研究の目的は,視覚テキスト処理のダイナミックな分野における今後の探索と革新を促進する基礎資源として,本研究を確立することである。
論文 参考訳(メタデータ) (2025-04-30T14:19:29Z) - Visual Text Meets Low-level Vision: A Comprehensive Survey on Visual
Text Processing [4.057550183467041]
視覚テキスト処理の分野は、基本的な生成モデルの出現によって、研究の急増を経験してきた。
この分野での最近の進歩を包括的かつ多面的に分析する。
論文 参考訳(メタデータ) (2024-02-05T15:13:20Z) - SciMMIR: Benchmarking Scientific Multi-modal Information Retrieval [64.03631654052445]
科学領域内の画像テキストペアリングにおけるMMIR性能を評価するための最新のベンチマークは、顕著なギャップを示している。
オープンアクセス用紙コレクションを利用した特殊な科学的MMIRベンチマークを開発する。
このベンチマークは、科学的文書に詳細なキャプションのある数字や表から抽出された、530Kの精巧にキュレートされた画像テキストペアからなる。
論文 参考訳(メタデータ) (2024-01-24T14:23:12Z) - OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。
OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
論文 参考訳(メタデータ) (2023-05-13T11:28:37Z) - Transformer Reasoning Network for Image-Text Matching and Retrieval [14.238818604272751]
マルチモーダルな大規模情報検索作業における画像テキストマッチングの問題点を考察する。
トランスフォーマー推論ネットワーク(TERN, Transformer Reasoning Network, TERN)は, 現代の関係認識型自己認識型トランスフォーマー(Transformer)のアーキテクチャである。
TERNは2つの異なるモダリティを別々に推論し、最終的な共通抽象概念空間を強制することができる。
論文 参考訳(メタデータ) (2020-04-20T09:09:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。