論文の概要: SAGE: Semantic Attribute Graphs for Multi-Entity Visual Retrieval

• arxiv url: http://arxiv.org/abs/2609.04255v1
• Date: Tue, 01 Sep 2026 06:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.752075
• Title: SAGE: Semantic Attribute Graphs for Multi-Entity Visual Retrieval
• Title（参考訳）: SAGE: マルチエンティティビジュアル検索のためのセマンティック属性グラフ
• Abstract要約: 我々は、密集した文書画像から意味的エンティティを解析する、トレーニング不要のフレームワークであるSAGEを提案する。 SAGEは意味の希釈を大幅に減らし、パッチレベルとOCRベースの検索ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 7.2391463583497995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense document images often contain many fine-grained visual and textual entities whose relevance depends on a user query. Standard vision-language retrievers encode cropped regions with a single vector, which can mix distinct entity signals and obscure the evidence needed for fine-grained retrieval. We call this failure mode Semantic Dilution and quantitatively show that it degrades entity-level retrieval as a function of entity density. To mitigate it, we propose SAGE, a training-free framework that parses semantic entities from dense document images, represents them as hierarchical graph nodes with multi-vector embeddings, and retrieves query-relevant evidence through iterative entity-level subgraph matching. We also introduce DEAR, a dataset of 1,055 query--image pairs sourced from product detail pages, where each query requires retrieving and comparing multiple fine-grained entities from visually dense inputs across four question types of increasing complexity. Experiments show that SAGE substantially reduces semantic dilution and outperforms patch-level and OCR-based retrieval baselines on DEAR, achieving a Recall@3 of 0.849 and a generation score of 2.746 on multi-entity visual comparison queries. Our code is available at https://github.com/All4Nothing/SAGE.
• Abstract（参考訳）: 複雑なドキュメントイメージは、ユーザクエリに依存する多くの細かい視覚的およびテキスト的エンティティを含むことが多い。 標準的な視覚言語レトリバーは、異なる実体信号を混合し、きめ細かい検索に必要な証拠を隠蔽する単一のベクトルで、収穫された領域を符号化する。 この障害モードをセマンティック希釈と呼び、実体密度の関数としてエンティティレベルの検索を劣化させることを定量的に示す。 文書画像から意味的エンティティを解析し,マルチベクトル埋め込みによる階層グラフノードとして表現し,反復的なエンティティレベルのサブグラフマッチングを通じてクエリ関連エビデンスを検索する,トレーニング不要なフレームワークであるSAGEを提案する。 また、製品の詳細ページから得られた1,055のクエリ-イメージ対のデータセットであるDEARを導入し、各クエリは、複雑さが増大する4つの質問タイプにわたる視覚的に密な入力から、複数のきめ細かいエンティティを検索、比較する必要がある。 実験の結果、SAGEは意味の希釈を大幅に減らし、DEARのパッチレベルとOCRベースの検索ベースラインを上回っ、マルチエンタリティビジュアル比較クエリにおけるRecall@3と2.746の生成スコアを達成した。 私たちのコードはhttps://github.com/All4Nothing/SAGEで利用可能です。

関連論文リスト

• Query Symbolically or Retrieve Semantically? A Dataset and Method for Semi-Structured Question Answering [2.6264656632831667]
  DualGraphは2つの補完的なビューを通じて文書を表現している。意味検索のためのテキスト知識グラフと、型付き主語-述語-オブジェクトトリプルに対するシンボリッククエリのためのシンボリック知識グラフである。 我々はまた、半構造化された製品ドキュメントと、オープンエンドおよび仕様指向の検索にまたがる手動でキュレートされた質問を備えた商用ショッピングウェブサイトのベンチマークであるSpecsQAを紹介します。実験により、DualGraphは、質問タイプ全体にわたって、最先端の密検索、GraphRAG、シンボリック、テーブル指向のベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-26T15:22:42Z)
• BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment [5.285385905661152]
  最高の視覚言語エンコーダはMM-BRIGHT上で27.6 nDCG@10しか達成せず、強いテキストのみのレシーバーよりも優れています。 マルチモーダルエンコーダを使わずにこのミスマッチを解消する2成分システムである textbfBRIDGE を提案する。 textbfFORGEは強化学習によって訓練されたクエリアライメントモデルであり、ノイズの多いマルチモーダルクエリをコンパクトで検索最適化された検索文字列に蒸留する。 textbfLENSは、ForGEが生成するインテントリッチクエリを処理するために、推論集約検索データに基づいて微調整された、推論強化の高密度レトリバーである。
  論文  参考訳（メタデータ） (2026-04-08T15:28:21Z)
• Category-level Text-to-Image Retrieval Improved: Bridging the Domain Gap with Diffusion Models and Vision Encoders [41.08205377881149]
  本研究は,セマンティックカテゴリを指定または記述したクエリのテキスト・ツー・イメージ検索について検討する。 生成拡散モデルを用いて,テキストクエリを視覚的なクエリに変換する。 そして、視覚モデルと画像間の類似性を推定する。
  論文  参考訳（メタデータ） (2025-08-29T18:24:38Z)
• Composed Object Retrieval: Object-level Retrieval via Composed Expressions [71.47650333199628]
  Composed Object Retrieval (COR)は、画像レベルの検索を超えてオブジェクトレベルの精度を達成するための新しいタスクである。 COR127KはCORの最初の大規模ベンチマークであり、408カテゴリの様々な意味変換を持つ127,166個の検索三重項を含む。 また、参照領域エンコーディング、適応型視覚・テキストインタラクション、および領域レベルのコントラスト学習を統合した統合エンドツーエンドモデルであるCOREを提案する。
  論文  参考訳（メタデータ） (2025-08-06T13:11:40Z)
• Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
  The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。 SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
  論文  参考訳（メタデータ） (2025-07-14T08:41:53Z)
• Entity Image and Mixed-Modal Image Retrieval Datasets [9.6977953463099]
  本稿では,画像の検索を厳格に評価するための新しいベンチマークを提案する。 We present two new datasets: the Entity Image dataset (EI), including canonical image for Wikipedia entity and the Mixed-Modal Image Retrieval dataset (MMIR), from the WIT dataset。 我々は,学習コーパスと混合モーダル検索のための評価セットとして,ベンチマークの有用性を実証的に検証した。
  論文  参考訳（メタデータ） (2025-06-02T22:04:06Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• A Dual-way Enhanced Framework from Text Matching Point of View for Multimodal Entity Linking [17.847936914174543]
  マルチモーダルエンティティリンク(MEL)は、ウィキペディアのような知識グラフ(KG)のエンティティに曖昧な言及を多モーダル情報にリンクすることを目的としている。 我々は、各マルチモーダル情報(テキストと画像)をクエリとして扱うニューラルテキストマッチング問題として、マルチモーダルエンティティリンクを定式化する。 本稿では,MELのための双方向拡張(DWE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T03:15:50Z)
• EDIS: Entity-Driven Image Search over Multimodal Web Content [95.40238328527931]
  textbfEntity-textbfDriven textbfImage textbfSearch (EDIS)は、ニュース領域におけるクロスモーダル画像検索のためのデータセットである。 EDISは、実際の検索エンジンの結果から100万のWebイメージとキュレートされたデータセットで構成され、各イメージはテキスト記述と組み合わせられている。
  論文  参考訳（メタデータ） (2023-05-23T02:59:19Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Good Visual Guidance Makes A Better Extractor: Hierarchical Visual Prefix for Multimodal Entity and Relation Extraction [88.6585431949086]
  本稿では,視覚的な実体と関係抽出のための階層型ビジュアルプレフィックス融合NeTwork(HVPNeT)を提案する。 視覚的表現をプラグ可能な視覚的接頭辞とみなして, 誤りに敏感な予測決定のためのテキスト的表現を導出する。 3つのベンチマークデータセットの実験により,本手法の有効性が実証され,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2022-05-07T02:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。