論文の概要: LAGO: Language-Guided Adaptive Object-Region Focus for Zero-Shot Visual-Text Alignment
- arxiv url: http://arxiv.org/abs/2605.08156v1
- Date: Mon, 04 May 2026 09:07:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.404577
- Title: LAGO: Language-Guided Adaptive Object-Region Focus for Zero-Shot Visual-Text Alignment
- Title(参考訳): LAGO:ゼロショットビジュアルテキストアライメントのための言語ガイド型適応型オブジェクトレギュレーション
- Authors: Junyi Hu, Qiji Zhou, Lei Zhang, Yue Zhang,
- Abstract要約: 細かい設定では、関連するエビデンスはしばしば、完全なイメージではなく、局所化された部分、属性、テクスチャに置かれる。
最近の局所的な視覚テキストアライメント手法は、クラス記述と複数の画像領域を比較してこの問題に対処している。
LAGOは、効率的なゼロショットローカライズされた視覚テキストアライメントのためのフレームワークである。
- 参考スコア(独自算出の注目度): 11.785675631199455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot recognition aims to classify an image by selecting the most compatible label description from a set of candidate classes without any task-specific supervision. In fine-grained settings, however, the relevant evidence often lies in localized parts, attributes, or textures rather than in the full image, making whole-image alignment suboptimal. Recent localized visual-text alignment methods address this by comparing class descriptions with multiple image regions, but they typically rely on large sets of random or redundant crops, increasing inference cost and introducing many highly redundant or weakly relevant candidates. Moreover, introducing semantic guidance too early can create an error-amplifying feedback process in which inaccurate intermediate predictions bias later localization and reinforce subsequent mistakes; we refer to this failure mode as the prediction loop. We propose LAGO (LAnguage-Guided adaptive Object-region focus), a framework for efficient and robust zero-shot localized visual-text alignment. LAGO first performs class-agnostic object-centric candidate discovery to obtain a stable visual initialization, and then applies adaptive language-guided refinement with the strength of semantic guidance controlled by intermediate confidence. It further combines object-level, contextual, and full-image evidence through an effective object-context dual-channel aggregation strategy. Extensive experiments show that LAGO consistently achieves state-of-the-art performance on standard zero-shot benchmarks and challenging distribution-shift settings, while requiring substantially fewer candidate regions at inference time.
- Abstract(参考訳): ゼロショット認識は、タスク固有の監督なしに、候補クラスのセットから最も互換性のあるラベル記述を選択することで、イメージを分類することを目的としている。
しかし、きめ細かい設定では、関連する証拠は、フルイメージではなく、局所化された部分、属性、テクスチャにあることが多く、画像全体のアライメントが最適である。
最近の局所的な視覚テキストアライメント手法は、クラス記述を複数の画像領域と比較することでこの問題に対処するが、それらは通常、ランダムまたは冗長な作物の大規模なセットに依存し、推論コストを増大させ、非常に冗長または弱い関係の候補を導入している。
さらに、セマンティックガイダンスの導入が早すぎると、不正確な中間予測が後続のローカライゼーションに偏り、後続の誤りを補強するエラー増幅フィードバックプロセスが作成され、この障害モードを予測ループと呼ぶ。
LAGO(LAnguage-Guided Adaptive Object- Regional Focus)は,ゼロショットの局所的視覚テキストアライメントを効率よくかつ堅牢にするためのフレームワークである。
LAGOは、まず、クラスに依存しないオブジェクト中心の候補発見を行い、安定した視覚的初期化を得る。
さらに、オブジェクトレベル、コンテキスト、およびフルイメージのエビデンスを、効果的なオブジェクトコンテキストデュアルチャネルアグリゲーション戦略を通じて組み合わせる。
大規模な実験により、LAGOは標準のゼロショットベンチマークにおける最先端のパフォーマンスを一貫して達成し、推論時にかなり少ない候補領域を必要とする一方で、分散シフト設定に挑戦することが示されている。
関連論文リスト
- Leveraging Hierarchical Image-Text Misalignment for Universal Fake Image Detection [58.927873049646024]
実画像と比較して,偽画像は対応するキャプションと適切に一致しないことを示す。
本稿では,視覚空間における画像テキストの不一致を識別的手がかりとして活用し,簡易かつ効果的なITEMを提案する。
論文 参考訳(メタデータ) (2025-11-01T06:51:14Z) - Towards Fine-Grained Vision-Language Alignment for Few-Shot Anomaly Detection [65.29550320117526]
我々はFinGrainedADという新しいフレームワークを提案し、異常なローカライゼーション性能を改善する。
実験により、提案されたFinGrainedADは、数ショット設定で全体的なパフォーマンスが優れていることが示された。
論文 参考訳(メタデータ) (2025-10-30T13:09:00Z) - Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。
COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。
COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
論文 参考訳(メタデータ) (2025-10-28T03:47:44Z) - Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。
視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。
提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2025-08-24T15:45:22Z) - Weakly-Supervised Image Forgery Localization via Vision-Language Collaborative Reasoning Framework [16.961220047066792]
ViLaCoは視覚言語の共同推論フレームワークで、事前訓練された視覚言語モデルから抽出した補助的セマンティックインスペクションを導入する。
ViLaCoは既存のWSIFL法を大幅に上回り、検出精度とローカライゼーション精度の両方で最先端の性能を達成する。
論文 参考訳(メタデータ) (2025-08-02T12:14:29Z) - Do LLMs Understand Visual Anomalies? Uncovering LLM's Capabilities in Zero-shot Anomaly Detection [18.414762007525137]
大規模視覚言語モデル(LVLM)は、自然言語で導かれる視覚表現の導出に長けている。
近年の研究では、ゼロショット視覚異常検出(VAD)の課題に取り組むためにLVLMを用いている。
統一モデルを用いてこれらの課題に対処するために設計された、トレーニング不要のアプローチであるALFAを提案する。
論文 参考訳(メタデータ) (2024-04-15T10:42:22Z) - Bootstrap Fine-Grained Vision-Language Alignment for Unified Zero-Shot
Anomaly Localization [63.61093388441298]
対照的な言語-画像事前学習モデルは、ゼロショット視覚認識タスクで有望なパフォーマンスを示した。
本研究では,ゼロショット異常局所化のためのAnoCLIPを提案する。
論文 参考訳(メタデータ) (2023-08-30T10:35:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。