論文の概要: NERVE: Neighbourhood & Entropy-guided Random-walk for training free open-Vocabulary sEgmentation
- arxiv url: http://arxiv.org/abs/2511.08248v1
- Date: Wed, 12 Nov 2025 01:48:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.720515
- Title: NERVE: Neighbourhood & Entropy-guided Random-walk for training free open-Vocabulary sEgmentation
- Title(参考訳): NERVE:自由開語彙学習のための近隣・エントロピー誘導ランダムウォーク
- Authors: Kunal Mahatha, Jose Dolz, Christian Desrosiers,
- Abstract要約: NERVE (Open-Vocabulary Semantics, OVSS) の学習自由化手法を提案する。
NERVEはグローバルおよび微粒な局所情報を統合し、安定拡散モデルの自己アテンション層から近傍構造を利用する。
我々の手法は、条件付きランダムフィールド(CRF)や画素適応マスクリファインメント(PAMR)のような従来の後処理技術を必要としない。
- 参考スコア(独自算出の注目度): 18.627047608492795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent advances in Open-Vocabulary Semantic Segmentation (OVSS), existing training-free methods face several limitations: use of computationally expensive affinity refinement strategies, ineffective fusion of transformer attention maps due to equal weighting or reliance on fixed-size Gaussian kernels to reinforce local spatial smoothness, enforcing isotropic neighborhoods. We propose a strong baseline for training-free OVSS termed as NERVE (Neighbourhood \& Entropy-guided Random-walk for open-Vocabulary sEgmentation), which uniquely integrates global and fine-grained local information, exploiting the neighbourhood structure from the self-attention layer of a stable diffusion model. We also introduce a stochastic random walk for refining the affinity rather than relying on fixed-size Gaussian kernels for local context. This spatial diffusion process encourages propagation across connected and semantically related areas, enabling it to effectively delineate objects with arbitrary shapes. Whereas most existing approaches treat self-attention maps from different transformer heads or layers equally, our method uses entropy-based uncertainty to select the most relevant maps. Notably, our method does not require any conventional post-processing techniques like Conditional Random Fields (CRF) or Pixel-Adaptive Mask Refinement (PAMR). Experiments are performed on 7 popular semantic segmentation benchmarks, yielding an overall state-of-the-art zero-shot segmentation performance, providing an effective approach to open-vocabulary semantic segmentation.
- Abstract(参考訳): Open-Vocabulary Semantic Segmentation (OVSS)の最近の進歩にもかかわらず、既存のトレーニングフリー手法にはいくつかの制限がある: 計算に高価な親和性改善戦略の使用、等重み付けによるトランスフォーマーアテンションマップの非効率な融合、固定サイズのガウス核への依存、等方性近傍の強化。
NERVE (Neighbourhood \&Entropy-guided Random-walk for open-Vocabulary sEgmentation) と呼ばれる訓練不要なOVSSの強力なベースラインを提案する。
また、局所的な文脈において、固定サイズのガウス核に頼るのではなく、親和性を改善する確率的ランダムウォークを導入する。
この空間拡散過程は、連結および意味的関連領域の伝播を促進し、任意の形状の物体を効果的にデライン化することができる。
既存のほとんどのアプローチでは、異なるトランスフォーマーヘッドやレイヤからの自己アテンションマップを等しく扱うが、この方法ではエントロピーベースの不確実性を使用して最も関連性の高いマップを選択する。
特に,本手法では,条件付きランダムフィールド (CRF) や画素適応マスクリファインメント (PAMR) のような従来の後処理技術は不要である。
7つの人気のあるセマンティックセマンティックセマンティクスのベンチマークで実験が行われ、その結果、最先端のゼロショットセマンティクスのパフォーマンスが得られ、オープンボキャブラリセマンティクスセマンティクスセマンティクスに対する効果的なアプローチを提供する。
関連論文リスト
- Boundless Across Domains: A New Paradigm of Adaptive Feature and Cross-Attention for Domain Generalization in Medical Image Segmentation [1.93061220186624]
ドメイン不変表現学習は、ドメイン一般化の強力な方法である。
従来のアプローチでは、高い計算要求、トレーニングの不安定性、高次元データによる限られた有効性といった課題に直面していた。
本研究では,分布空間を探索しながら分布外サンプルを生成する適応的特徴ブレンディング(AFB)手法を提案する。
論文 参考訳(メタデータ) (2024-11-22T12:06:24Z) - Strongly Isomorphic Neural Optimal Transport Across Incomparable Spaces [7.535219325248997]
本稿ではGromov-Monge問題の基本的性質の1つに根ざした新しいニューラルな定式化について述べる。
学習可能なOTマップを2つのコンポーネントに分解することで、この特性を運用する。
我々のフレームワークは、様々な空間にわたるOTマップを学習するための有望なアプローチを提供する。
論文 参考訳(メタデータ) (2024-07-20T18:27:11Z) - Correspondence-Free Non-Rigid Point Set Registration Using Unsupervised Clustering Analysis [28.18800845199871]
非教師なしクラスタリング解析に触発された、新しい非厳密な点集合登録法を提案する。
提案手法は,様々なシナリオにおいて高い精度を達成し,競争相手をはるかに上回っている。
論文 参考訳(メタデータ) (2024-06-27T01:16:44Z) - Efficient Trajectory Inference in Wasserstein Space Using Consecutive Averaging [3.8623569699070353]
軌道推論はそのような観測から連続的な過程を再構成する。
ワッサーシュタイン空間に固有の連続平均化によるB-スプライン近似と点雲の近似法を提案する。
線形収束率を証明し, 分岐, マージ, 軌道分割のシナリオを特徴とするセルデータに対する手法を厳密に評価した。
論文 参考訳(メタデータ) (2024-05-30T04:19:20Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image
Compression [63.56922682378755]
本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。
提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。
実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
論文 参考訳(メタデータ) (2023-08-17T01:34:51Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-08-25T12:33:31Z) - Patch-level Neighborhood Interpolation: A General and Effective
Graph-based Regularization Strategy [77.34280933613226]
我々は、ネットワークの計算において非局所的な表現を行うtextbfPatch-level Neighborhood Interpolation(Pani)と呼ばれる一般的な正規化器を提案する。
提案手法は,異なる層にパッチレベルグラフを明示的に構築し,その近傍のパッチ特徴を線形に補間し,汎用的で効果的な正規化戦略として機能する。
論文 参考訳(メタデータ) (2019-11-21T06:31:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。