論文の概要: PEARL: Geometry Aligns Semantics for Training-Free Open-Vocabulary Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2603.21528v1
- Date: Mon, 23 Mar 2026 03:40:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.465858
- Title: PEARL: Geometry Aligns Semantics for Training-Free Open-Vocabulary Semantic Segmentation
- Title(参考訳): PEARL: 学習自由なオープン語彙セマンティックセマンティックセマンティックセマンティックスのための幾何学的アライメント
- Authors: Gensheng Pei, Xiruo Jiang, Xinhao Cai, Tao Chen, Yazhou Yao, Byeungwoo Jeon,
- Abstract要約: トレーニングフリーなオープン語彙セマンティックセマンティックセグメンテーション(OVSS)は、リトレーニングなしで新しいラベルセットに迅速に適応することを約束する。
我々は、アライメント-then-proagateの原理に従うコンパクトな2ステップの推論であるPEARLを提案する。
提案手法は,完全トレーニングフリーでプラグアンドプレイで,固定定数のみを使用し,最小限のレイテンシを付加し,頭部プロジェクションを小さくする。
- 参考スコア(独自算出の注目度): 30.577077015761585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training-free open-vocabulary semantic segmentation (OVSS) promises rapid adaptation to new label sets without retraining. Yet, many methods rely on heavy post-processing or handle text and vision in isolation, leaving cross-modal geometry underutilized. Others introduce auxiliary vision backbones or multi-model pipelines, which increase complexity and latency while compromising design simplicity. We present PEARL, \textbf{\underline{P}}rocrust\textbf{\underline{e}}s \textbf{\underline{a}}lignment with text-awa\textbf{\underline{r}}e \textbf{\underline{L}}aplacian propagation, a compact two-step inference that follows an align-then-propagate principle. The Procrustes alignment step performs an orthogonal projection inside the last self-attention block, rotating keys toward the query subspace via a stable polar iteration. The text-aware Laplacian propagation then refines per-pixel logits on a small grid through a confidence-weighted, text-guided graph solve: text provides both a data-trust signal and neighbor gating, while image gradients preserve boundaries. In this work, our method is fully training-free, plug-and-play, and uses only fixed constants, adding minimal latency with a small per-head projection and a few conjugate-gradient steps. Our approach, PEARL, sets a new state-of-the-art in training-free OVSS without extra data or auxiliary backbones across standard benchmarks, achieving superior performance under both with-background and without-background protocols.
- Abstract(参考訳): トレーニングフリーなオープン語彙セマンティックセマンティックセグメンテーション(OVSS)は、リトレーニングなしで新しいラベルセットに迅速に適応することを約束する。
しかし、多くの手法は重い後処理に頼るか、テキストと視覚を分離して扱い、クロスモーダルな幾何学は未利用のままである。
補助的なビジョンバックボーンやマルチモデルパイプラインを導入し、設計の単純さを犠牲にして複雑さとレイテンシを増大させる。
PEARL, \textbf{\underline{P}}rocrust\textbf{\underline{e}}s \textbf{\underline{a}}lignment with text-awa\textbf{\underline{r}}e \textbf{\underline{L}}aplacian propagation, これはアライメント-then-propagateの原理に従うコンパクトな2段階の推論である。
Procrustesアライメントステップは、最後の自己アテンションブロック内で直交投影を行い、安定な極反復を通してクエリサブスペースに向かってキーを回転させる。
テキスト対応のラプラシアン伝搬は、自信に富んだテキスト誘導グラフを通じて、小さなグリッド上のピクセルごとのロジットを洗練する: テキストはデータトラスト信号と隣接するゲーティングの両方を提供し、画像勾配は境界を保っている。
本研究では,本手法は完全トレーニングフリーかつプラグアンドプレイであり,固定定数のみを使用し,最小遅延を最小化し,頭部プロジェクションを小さくし,共役段階を数段階追加する。
我々のアプローチであるPEARLは、標準ベンチマークにまたがる余分なデータや補助的なバックボーンを使わずに、トレーニング不要なOVSSの新たな最先端技術を設定し、非バックグランドプロトコルと非バックグランドプロトコルの両方で優れたパフォーマンスを実現する。
関連論文リスト
- Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
永続的な幾何学的異常であるモダリティギャップが残っている。
このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。
固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。
次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
論文 参考訳(メタデータ) (2026-02-02T13:59:39Z) - InfSplign: Inference-Time Spatial Alignment of Text-to-Image Diffusion Models [27.206678799411645]
InfSplignは、テキスト・ツー・イメージ・モデルのためのトレーニング不要な推論時間法である。
除音ステップ毎に複合損失によってノイズを調整することで空間アライメントを改善する。
既存の最強の推論時間ベースラインよりもパフォーマンスが大幅に向上する。
論文 参考訳(メタデータ) (2025-12-19T17:52:43Z) - LRANet++: Low-Rank Approximation Network for Accurate and Efficient Text Spotting [118.93173826110815]
高精度検出のための低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。
異なるテキストの輪郭間の固有形状相関を利用して、形状表現の一貫性とコンパクト性を実現する。
我々は、LRANet++と呼ばれるエンドツーエンドテキストスポッティングフレームワークを構築するために、拡張検出モジュールを軽量な認識ブランチに統合する。
論文 参考訳(メタデータ) (2025-11-08T03:08:03Z) - A Transformer Based Handwriting Recognition System Jointly Using Online and Offline Features [8.419663258260671]
オフライン画像とオンラインストロークデータの早期融合を行うエンド・ツー・エンド・ネットワークを提案する。
我々の手法は最先端の精度を達成し、過去のベストを最大1%上回っている。
論文 参考訳(メタデータ) (2025-06-25T08:58:47Z) - Unsupervised Deformable Image Registration with Structural Nonparametric Smoothing [21.95149344518237]
学習ベースの変形可能な画像登録(DIR)アライメントは、ニューラルネットワークを通じて従来の最適化を償却することによって加速する。
SmoothProperは、スムーズさを強制し、ネットワークのフォワードパス内でメッセージパッシングを促進するプラグイン・アンド・プレイのニューラルモジュールである。
網膜血管データセットの予備的な結果は,2912x2画像上での登録誤差を1.88ピクセルまで低減することを示した。
論文 参考訳(メタデータ) (2025-06-12T15:26:03Z) - Structural Alignment Improves Graph Test-Time Adaptation [17.564393890432193]
グラフテスト時間適応(GTTA)のための新しいアルゴリズムであるテスト時間構造アライメント(TSA)を導入する。
TSAは、ソースデータにアクセスすることなく、推論中にグラフ構造を整列する。
合成および実世界のデータセットの実験は、TSAが非グラフTTA法と最先端GTTAベースラインの両方で一貫した性能を実証している。
論文 参考訳(メタデータ) (2025-02-25T16:26:25Z) - LRANet: Towards Accurate and Efficient Scene Text Detection with
Low-Rank Approximation Network [63.554061288184165]
低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。
異なるテキストの輪郭間の形状相関を探索することにより, 形状表現における一貫性, コンパクト性, 単純性, 頑健性を実現する。
我々はLRANetという名前の正確で効率的な任意の形状のテキスト検出器を実装した。
論文 参考訳(メタデータ) (2023-06-27T02:03:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。