論文の概要: When Generated Images Look Right and Retrieve Wrong: Coverage-Guided Cross-Scale Re-Indexing for Knowledge-Faithful Generative Perception
- arxiv url: http://arxiv.org/abs/2608.20810v1
- Date: Fri, 21 Aug 2026 07:28:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.437285
- Title: When Generated Images Look Right and Retrieve Wrong: Coverage-Guided Cross-Scale Re-Indexing for Knowledge-Faithful Generative Perception
- Title（参考訳）: 生成した画像が正しく見えて間違っている場合:知識に富んだ生成知覚のためのカバーガイド付きクロススケールインデクシング
- Abstract要約: 本稿では,3段階のセマンティックピラミッドを構築するクローズドループマルチモーダルインデックスフレームワークCERESを提案する。
同言語対応ルータを通じて暗黙的な概念をマイニングし、スケールロートなクロスアテンションを軽量なU-Netジェネレータに実行し、生成した画像を同じ凍結VLMで再インデックスすることでカバレッジを検証する。
7つの設定にまたがる4つのパンシャープベンチマークでは、CERESは、スケールの変動が最も極端である最大のゲインを持つ、新しい最先端のアートを提供する。
- 参考スコア（独自算出の注目度）: 12.968836079025344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal information systems increasingly route generated visual content back through the same vision-language index that informed its production, so the output must remain retrievable by the queries it was meant to serve. When the scene contains entities at vastly different scales, existing language-guided generators condition on a single, globally pooled text embedding and quietly drop scale-specific concepts, breaking concept-query retrieval even when pixel fidelity is high. We formalise this failure as semantic collapse and propose CERES, a closed-loop multimodal indexing framework that builds a three-level semantic pyramid, mines implicit concepts via a co-occurrence-aware router, performs scale-routed cross-attention into a lightweight U-Net generator, and verifies coverage by re-indexing the generated image with the same frozen VLM. A continuously differentiable soft-Jaccard coverage objective returns dense gradients to the 0.39M-parameter generator under explicit non-degeneracy conditions, and coverage is verified by an independent DINOv2 linear probe trained only on external scene and object labels. On four pansharpening benchmarks across seven settings, CERES delivers the new state of the art with the largest gains where scale variation is most extreme. It also improves concept-query retrieval Recall@5 by +14.0 points and image-text mean reciprocal rank by 0.19 over the strongest baseline, showing that the closed loop preserves queryable content rather than self-referential feature consistency.
- Abstract（参考訳）: マルチモーダル・インフォメーション・システムは、生成した視覚コンテンツを、その生産を知らせる同じ視覚言語インデックスを通して経路を戻す傾向にある。
シーンが全く異なるスケールのエンティティを含む場合、既存の言語誘導ジェネレータは単一のグローバルプールされたテキストを埋め込み、スケール固有の概念を静かにドロップし、ピクセルの忠実度が高い場合でもコンセプトクエリー検索を壊す。
我々は,この失敗をセマンティック崩壊として形式化し,三段階のセマンティックピラミッドを構築するクローズドループマルチモーダルインデックスフレームワークCERESを提案する。
連続的に微分可能なソフトジャカードのカバレッジ対象は、明確な非退化条件下で0.39Mパラメータジェネレータに密度勾配を返却し、外部シーンとオブジェクトラベルのみに基づいてトレーニングされた独立したDINOv2線形プローブによってカバレッジが検証される。
CERESは7つの設定にまたがる4つのパンシャーペンベンチマークで、新しい最先端技術を提供し、スケールの変動が最も極端に多い。
また、概念クエリ検索のRecall@5を+14.0ポイントで改善し、最強のベースラインに対して画像テキスト平均の相互ランクを0.19倍にし、クローズドループが自己参照的特徴整合性よりもクエリ可能なコンテンツを保存していることを示す。
関連論文リスト
- Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap [6.097306160389619]
ReVisITは、検索した画像とラベルのペアを視覚的思考の単位として扱う、トレインフリーのフレームワークである。
VL-ICL Bench Fast Open MiniImageNetでは、ReVisITのQwen3-VL-30B-A3Bは4ショットで98.5%に達し、約1/2.4のパラメータで、72B LLaVA-VisionOne SOTA (98.7%)と統計的に区別できない。
論文 参考訳（メタデータ） (2026-07-01T08:31:09Z) - OneRetrieval: Unifying Multi-Branch E-commerce Retrieval with an Editable Generative Model [34.47411112516513]
産業用eコマース検索は、手作りのマージで融合したマルチブランチ検索段階を通じて、何十億ものアイテムを検索する。
OneRetrievalは、最も強力な生成ベースラインの深いリコールと、クローズドコードブックエンコーディングの桁を超える介入ヒット率とを一致させる。
このシステムはKuaishouで展開され、毎日数億のPVを提供している。
論文 参考訳（メタデータ） (2026-06-11T16:21:13Z) - Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory [79.01059178883817]
IAMFlowはトレーニング不要のID対応メモリフレームワークで、永続的なエンティティのIDを明示的にモデル化し追跡する。
VLMは、レンダリングフレームから属性を非同期に検証し、洗練し、暗黙の類似性ベースのマッチングの代わりに明示的なエンティティ追跡を可能にする。
NarraStream-Benchは,6次元にまたがる324のマルチプロンプトスクリプトを備えた,ナラストリームビデオ生成のためのベンチマークである。
論文 参考訳（メタデータ） (2026-05-18T17:54:34Z) - CMAG: Concept-Scaffolded Retrieval for Marketplace Avatar Generation [0.5131152350448099]
メタバースプラットフォームは、アバターを個別に分類された3D資産から組み立てるクリエーター主導の市場に依存している。
マーケットプレース生成のための概念スキャフォールド検索および検証済み合成フレームワークである textbfCMAG を提案する。
論文 参考訳（メタデータ） (2026-05-18T17:21:43Z) - TIGER-FG: Text-Guided Implicit Fine-Grained Grounding for E-commerce Retrieval [10.927254533551563]
電子商取引の画像検索は、しばしばクロップされたイメージをクエリとして取り、各候補は完全なアイテムイメージと構造化されたテキストで表現される。
我々は,電子商取引検索のためのテキスト誘導型暗黙的きめ細かなグラウンドディングフレームワークTIGER-FGを提案する。
論文 参考訳（メタデータ） (2026-05-18T14:07:20Z) - UniCustom: Unified Visual Conditioning for Multi-Reference Image Generation [65.53694602893042]
VLMエンコーディングの前にVTとVAE機能を融合した統合ビジュアルコンディショニングフレームワークを提案する。
2つのマルチ参照生成ベンチマークの実験により、UniCustomは主題の一貫性、命令従順、構成の忠実さを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-12T13:10:05Z) - LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding [23.227000200423458]
本稿では,ページレベルからブロックレベルまで多モードRAGを進化させる新しいフレームワークLFRAGを提案する。
ブロックレベルの遅延検索により、LFRAGは正確なクエリコンテンツアライメントを可能にし、ダウンストリーム生成のための無関係なコンテンツを削減する。
LFDocQAの実験では、LFRAGは検索タスクにおける最先端のパフォーマンスを達成し、解答精度が7.20%向上し、生成タスクにおけるトークン消費が73.07%減少した。
論文 参考訳（メタデータ） (2026-04-18T05:04:49Z) - Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。
チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
論文 参考訳（メタデータ） (2026-03-13T08:55:27Z) - From Feature Interaction to Feature Generation: A Generative Paradigm of CTR Prediction Models [81.43473418572567]
CTR(Click-Through Rate)予測は、レコメンデーションシステムにおける中核的なタスクである。
本稿では,埋め込み次元の崩壊と情報冗長性に対処する新しい生成フレームワークを提案する。
SFGは埋没崩壊を緩和し,情報冗長性を低減し,性能向上を図っている。
論文 参考訳（メタデータ） (2025-12-16T03:17:18Z) - Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions [81.33113485830711]
視覚言語モデルに対して,視覚のない単一エンコーダ検索パイプラインを導入する。
VLLM生成した構造化画像記述の助けを借りてテキストからテキストへ移行する。
提案手法は,複数検索および構成性ベンチマークにおいて,最先端のゼロショット性能を実現する。
論文 参考訳（メタデータ） (2025-09-23T16:22:27Z) - Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。
Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。
ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
論文 参考訳（メタデータ） (2023-06-03T11:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。