論文の概要: Bridging Low-Level Image Fusion and High-Level Semantic Understanding
- arxiv url: http://arxiv.org/abs/2611.02896v1
- Date: Mon, 02 Nov 2026 10:29:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 14:29:59.838115
- Title: Bridging Low-Level Image Fusion and High-Level Semantic Understanding
- Title（参考訳）: ブリッジング低レベル画像融合と高レベルセマンティック理解
- Abstract要約: 構造化言語を明示的でインデックス可能なセマンティックステートとして利用するLANCEを提案する。
凍結された視覚言語モデルは、入力を閉語彙のテキストレコードにマッピングする。
微分可能な連続要約器を備えた高密度検証器は出力を再記述する。
- 参考スコア（独自算出の注目度）: 17.73276207791953
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Remote sensing image fusion and semantic interpretation are usually optimized separately, so reconstruction quality need not preserve downstream retrieval utility. We propose LANCE, which uses structured language as an explicit, indexable semantic state. A frozen vision-language model maps the input to a closed-vocabulary text record; a language-conditioned generator fuses the imagery; and a dense verifier with a differentiable continuous summarizer re-describes the output. Text-text consistency and anti-collapse contrastive text-mask losses with negative queries close the loop without dense annotations or VLM fine-tuning. A variational EM formulation yields a per-step contraction result under regularity assumptions, distinguishing semantic faithfulness from verifier overfitting. Across seven test sets on GF2, QuickBird, WorldView-III, and WorldView-II, LANCE improves reduced-scale reference metrics by up to 11.7% (median 2.1%) over the strongest learning baseline. Independent evaluation using a held-out VLM and a supervised aerial detector yields gains of +6.4 mAP and +0.072 open-vocabulary F1 over the closest competitor. Text perturbations, cross-verifier transfer, and pseudo-RGB ablations examine the mechanisms underlying these gains. The framework connects image fusion to verifiable semantic representations for multimodal retrieval and knowledge management.
- Abstract（参考訳）: リモートセンシング画像融合と意味解釈は通常、個別に最適化されるため、再構成品質は下流検索ユーティリティを保存する必要はない。
構造化言語を明示的でインデックス可能なセマンティックステートとして利用するLANCEを提案する。
凍結された視覚言語モデルは、入力を閉語彙テキストレコードにマッピングし、言語条件付きジェネレータは画像を融合させ、微分可能な連続要約器を備えた高密度検証器は出力を再記述する。
テキストの一貫性と反競合的なテキストマスクの損失と負のクエリは、高密度アノテーションやVLMの微調整なしでループを閉じる。
変分EMの定式化は、正則性仮定の下でステップごとの収縮結果をもたらし、意味的忠実度と検証者の過度な適合を区別する。
GF2、QuickBird、WorldView-III、WorldView-IIの7つのテストセットで、LANCEは最強の学習ベースラインよりも11.7%(中間2.1%)まで縮小スケールの基準メトリクスを改善している。
ホールドアウト型VLMと管制型空中検出器を用いた独立評価では、最も近い競合相手よりも+6.4 mAPと+0.072のオープンボキャブラリーF1の利得が得られる。
テキストの摂動、クロス検証器の転送、擬似RGBの短縮は、これらの利得の根底にあるメカニズムを調べる。
このフレームワークは、画像融合と検証可能な意味表現を結合し、マルチモーダル検索と知識管理を行う。
関連論文リスト
- Robust LLM-Generated Text Detection through Matched Conditional-Response Probing [9.853780565233725]
LLM(Large Language Model)の生成したテキストは、意味を保存するテキストリビジョンの下で有効でなければならない。
textbfMCRPは、セマンティックマッチした条件が導入されたり、削除されたり、置き換えられたとき、候補のテキストがどのように反応するかを測定する。
textbfMCRPは、標準検出、意味を保存するテキストリビジョンへの堅牢性、多言語、マルチドメイン評価など、一貫して強力なパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-10-28T05:53:36Z) - When Generated Images Look Right and Retrieve Wrong: Coverage-Guided Cross-Scale Re-Indexing for Knowledge-Faithful Generative Perception [12.968836079025344]
本稿では,3段階のセマンティックピラミッドを構築するクローズドループマルチモーダルインデックスフレームワークCERESを提案する。
同言語対応ルータを通じて暗黙的な概念をマイニングし、スケールロートなクロスアテンションを軽量なU-Netジェネレータに実行し、生成した画像を同じ凍結VLMで再インデックスすることでカバレッジを検証する。
7つの設定にまたがる4つのパンシャープベンチマークでは、CERESは、スケールの変動が最も極端である最大のゲインを持つ、新しい最先端のアートを提供する。
論文 参考訳（メタデータ） (2026-08-21T07:28:01Z) - Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - Decoupling Semantics from Distortions: Multi-Scale Two-Stream Vision-Language Alignment for AI-Generated Image Quality Assessment [0.4790056963046066]
MST-CLIPIQAは、明示的な表現分離によって階層的な視覚言語アライメントを実現するマルチスケールの2ストリームフレームワークである。
アーキテクチャは2つのCLIPエンコーダを補完的なパッチの粒度で利用し、グローバルなセマンティックコヒーレンスをキャプチャする。
実験によって新しい最先端の結果が確立され、品質では1.11パーセントのSRCC、テキスト画像対応予測では2.35パーセントのSRCCが平均的に改善された。
論文 参考訳（メタデータ） (2026-06-15T14:40:30Z) - PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution [51.96078493242164]
PRISMは単一ステップ拡散ベースのText-SRフレームワークである。
PRISMはミリ秒レベルの推論で最先端の性能を達成する。
論文 参考訳（メタデータ） (2026-05-13T05:31:06Z) - When Detectors Forget Forensics: Blocking Semantic Shortcuts for Generalizable AI-Generated Image Detection [48.75021863792367]
Vision Foundation Models (VFMs, emphe.g., CLIP) は、しばしば目に見えない生成パイプラインを使って生成された画像に一般化するのに苦労する。
textbfGeometric Semantic Decoupling (GSD)を提案する。
GSDはバッチワイズ統計から意味論的方向を推定し、幾何学的制約によってそれらを投影し、アーティファクト検出器は意味論的不変な法医学的証拠に依存するように強制する。
論文 参考訳（メタデータ） (2026-03-10T06:16:35Z) - Hybrid Fuzzing with LLM-Guided Input Mutation and Semantic Feedback [0.0]
本稿では,静的および動的解析をLarge Language Model(LLM)誘導入力変異と意味フィードバックと統合したハイブリッドファジリングフレームワークを提案する。
本手法は,最先端のファジィよりも高速な時間対第一のバグ,意味的多様性の向上,およびユニークなバグの競合数を実現する。
論文 参考訳（メタデータ） (2025-11-06T02:38:24Z) - DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。
DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。
SLIMはセマンティックリークに特化した最初のデータセットである。
論文 参考訳（メタデータ） (2025-10-16T17:39:21Z) - Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images [96.43608872116347]
AnomReasonは4倍のtextbfAnomAgentのような構造化アノテーションを備えた大規模ベンチマーク
AnomReasonとAnomAgentは、AI生成画像の意味的妥当性の測定と改善の基盤となっている。
論文 参考訳（メタデータ） (2025-10-11T14:09:24Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-05-26T14:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。