論文の概要: Query-Time Calibration of CLIP Features for Open-Vocabulary 3D Segmentation

• arxiv url: http://arxiv.org/abs/2610.30908v1
• Date: Thu, 22 Oct 2026 08:31:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.282575
• Title: Query-Time Calibration of CLIP Features for Open-Vocabulary 3D Segmentation
• Title（参考訳）: オープンボキャブラリ3次元セグメンテーションのためのCLIP機能のクエリ時間校正
• Abstract要約: そこで本研究では, テキストとの比較により, 重み付き特徴量体の変化によって, 実質的なセグメンテーションゲインが得られることを示す。 提案手法は,視覚特徴とテキストプロトタイプから共有シーン方向を部分的に抽出し,一般的な単語の固定参照語彙を用いてテキストプロトタイプを白化する。
• 参考スコア（独自算出の注目度）: 11.277751556297703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifting vision-language features such as CLIP into 3D Gaussian reconstructions enables open-vocabulary segmentation through natural-language queries. Although CLIP represents a broad range of semantic concepts, the lifted features of individual scenes can exhibit strong directional concentration, while raw cosine similarity does not account for the scene-specific feature distribution. We show that substantial segmentation gains can be obtained by changing how a fixed lifted feature field is compared with text. Our method partially subtracts a shared scene direction from visual features and text prototypes and whitens text prototypes using a fixed reference vocabulary of generic terms. It then uses soft clustering for multiclass prediction and CSLS with a relevance margin against the reference vocabulary for single-query prediction. Beyond reducing directional concentration, scene centering improves class-relative feature separation in every evaluated scene. Across seven lifting methods and four datasets, the resulting query-time calibration consistently improves mean intersection over union in both multiclass and single-query segmentation. These gains require no retraining, source-image re-encoding, or feature re-lifting, demonstrating the value of scene-conditioned comparison for making better use of existing lifted representations.
• Abstract（参考訳）: CLIPのような視覚言語機能を3Dガウス変換にリフティングすることで、自然言語クエリによるオープン語彙のセグメンテーションが可能になる。 CLIPは幅広い意味概念を表現しているが、個々のシーンの持ち上げられた特徴は強い方向の濃度を示すが、生のコサイン類似性はシーン固有の特徴分布を考慮しない。 そこで本研究では, テキストとの比較により, 重み付き特徴量体の変化によって, 実質的なセグメンテーションゲインが得られることを示す。 提案手法は,視覚特徴とテキストプロトタイプから共有シーン方向を部分的に抽出し,一般的な単語の固定参照語彙を用いてテキストプロトタイプを白化する。 次に、マルチクラスの予測にソフトクラスタリングを使用し、単一クエリの予測に基準語彙に関連性のあるCSLSを使用する。 方向集中を減らすことに加えて、シーン中心化は評価されたシーンごとにクラス相対的な特徴分離を改善する。 7つのリフト法と4つのデータセットからなる結果、クエリ時のキャリブレーションにより、マルチクラスとシングルクエリのセグメンテーションにおいて、平均的な結合が一貫して改善される。 これらのゲインは、既存のリフトされた表現をより活用するためのシーン条件比較の価値を示す、リトレーニング、ソースイメージの再エンコーディング、機能リリフトを必要としない。

関連論文リスト

• CorrCLIPv2: Harnessing Unlabeled Images for Open-Vocabulary Semantic Segmentation [50.18164168267435]
  Open-vocabulary semantic segmentationは、固定されたカテゴリに制限されることなくピクセルを分類することを目的としている。 Contrastive Language-Image Pre-Training (CLIP) はオープン語彙認識の著しい可能性を示す。 この研究は、CorrCLIPv2という名前の、トレーニング不要なオブジェクト中心の統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-17T15:53:40Z)
• Reprogramming Vision-Language Models via Structured Prompt Reparameterization [6.794059732596106]
  視覚言語モデルでは、視覚的リプログラミングは、バックボーンを固定したまま入力と出力のインターフェイスを変更することで、事前訓練されたモデルを下流タスクに適応させる。 本稿では,各クラス内で複数のテキストプロンプトを集約し,クラス間で残差補正を行う構造化フレームワークを提案する。 入力非依存線形出力アグリゲーションを用いたCLIPベースのビジュアルリプログラミングは,凍結画像埋め込みから下流ロジットへの線形マッピングとして表現できることを示す。
  論文  参考訳（メタデータ） (2026-09-29T04:18:20Z)
• Cluster-Aware Prompt Ensemble Learning for Few-Shot Vision-Language Model Adaptation [40.60703048681749]
  CLIPのような視覚言語モデル(VLM)は、多数の画像テキストペアを事前学習することで、様々なタスク間でゼロショット転送を実現する。 有効であるにもかかわらず、コンテキストプロンプトのテキスト的特徴を平均化する従来のプロンプトアンサンブルは、しばしば準最適結果をもたらす。 本稿では,コンテキストプロンプトのクラスタ特性を保存するクラスタ・アウェア・プロンプト・アンサンブル・ラーニング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-10T20:58:43Z)
• InvSeg: Test-Time Prompt Inversion for Semantic Segmentation [33.60580908728705]
  InvSegはオープン語彙セマンティックセグメンテーションに取り組むテストタイムプロンプトインバージョンメソッドである。 コントラストソフトクラスタリング(Contrastive Soft Clustering, CSC)を導入し, 導出マスクを画像の構造情報と整合させる。 InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
  論文  参考訳（メタデータ） (2024-10-15T10:20:31Z)
• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 画像間の差異のテキスト記述が画像埋め込み空間の差に対応するようにCLIPを微調整する。 提案手法は,特定の属性によって画像のランク付け能力を大幅に向上させ,下流画像分類タスクにおけるゼロショット分類性能を向上する。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• Mining Open Semantics from CLIP: A Relation Transition Perspective for Few-Shot Learning [46.25534556546322]
  そこで本稿では,イメージ・アンカー関係から画像・ターゲット関係に遷移して予測を行うアンカーとしてオープンセマンティクスを抽出することを提案する。 本手法は, 数ショットの分類設定を考慮し, 従来の最先端技術に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-06-17T06:28:58Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。 本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。 PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-01T15:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。