論文の概要: Queries Knew More Than We Thought: Uncovering Latent Knowledge in Segmentation Models

• arxiv url: http://arxiv.org/abs/2609.20283v1
• Date: Thu, 30 Jul 2026 01:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.653518
• Title: Queries Knew More Than We Thought: Uncovering Latent Knowledge in Segmentation Models
• Title（参考訳）: クエリが私たちの考える以上に新しい - セグメンテーションモデルにおける潜在的知識の発見
• Abstract要約: 凍結DETRモデルにおける出力選択ボトルネックについて検討する。 地道のみのオラクルは、すでに計算済みのマスクの提案に隠れたヘッドルームを最初に示している。 その後、クエリを追加したり、新しいマスクを生成したり、バックボーンを再実行したり、ウェイトを更新したりせずに、ヘッドルームを復元できるかどうかを尋ねます。
• 参考スコア（独自算出の注目度）: 7.040438774123036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern segmenters often fail after the expensive computation has already been done: a useful mask is present among the model's query-conditioned candidates, but the deployed selection rule does not expose it. We study this output-selection bottleneck in frozen DETR-family models. A ground-truth-only oracle first shows substantial hidden headroom in already-computed mask proposals. This raises a simple question: How can we better use the masks a segmenter has already computed but does not expose? We then ask whether that headroom can be recovered without adding queries, generating new masks, rerunning the backbone, or updating weights. HYDRA is a small selector trained only on cached frozen outputs. At inference time, it scores the cached candidates against an explicit keep-baseline option and acts only when a held-out calibrated margin indicates the selected candidate is sufficiently better. Trained on training-split caches and calibrated on held-out data, HYDRA improves Mask2Former, MaskDINO, and OneFormer by up to +7.41 dataset mIoU points on ADE20k and COCO, and improves SAM 3 by +9.4 class-macro prompt-IoU points on average across eight domains while preserving useful predictions through calibration. Paired LoRA controls show that lightweight weight adaptation does not remove the bottleneck: exposed predictions are often flat or worse, while routing over the adapted candidates still recovers accuracy. Finally, we connect the effect to query specialization under bipartite matching and verify it in a controlled TinyDETR study. These results show that frozen segmenters should be evaluated not only by the masks they expose, but also by the useful candidates they suppress.
• Abstract（参考訳）: モデル内のクエリ条件付き候補の中に有用なマスクが存在するが、デプロイされた選択ルールはそれを公開していない。 凍結DETR-ファミリーモデルにおけるこの出力選択ボトルネックについて検討する。 地道のみのオラクルは、すでに計算済みのマスクの提案に隠れたヘッドルームを最初に示している。 セグメンタがすでに計算したものの、公開していないマスクをどうすればよりよく使えるのか? その後、クエリを追加したり、新しいマスクを生成したり、バックボーンを再実行したり、ウェイトを更新したりせずに、ヘッドルームを復元できるかどうかを尋ねます。 HYDRAはキャッシュされた凍結出力のみをトレーニングした小型セレクタである。 推測時には、キャッシュされた候補を明示的な保留ベースラインオプションに対してスコアし、選択された候補が十分に優れていることを示す保留校正マージンのみに作用する。 Mask2Former、MaskDINO、OneFormerをADE20kとCOCOのデータセットmIoUポイントまで改善し、SAM 3を平均8ドメインで9.4クラスマクロプロンプトIoUポイントまで改善し、キャリブレーションによる有用な予測を保った。 ペアリングされたLoRAコントロールは、軽量なウェイト適応がボトルネックを排除しないことを示している。 最後に、この効果を両部マッチングによるクエリ特殊化に接続し、制御されたTinyDETR研究で検証する。 これらの結果から,凍結セグメンタはマスクだけでなく,抑制する有用な候補によって評価されるべきであることが示唆された。

関連論文リスト

• ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation [63.38679125666075]
  オブジェクトセグメンテーション(RVOS)を参照するには、ビデオを通して自然言語で指定されたターゲットをセグメンテーションする必要がある。 近年のエージェントアプローチでは,タスク固有のトレーニングなしでRVOSを実行するために,マルチモーダルな大規模言語モデルと迅速なセグメンテーションモデルを組み合わせている。 トレーニング不要でフィードバック駆動型エージェントであるReflexTrackを導入し、空間的および時間的両方のレベルでループを閉じる。
  論文  参考訳（メタデータ） (2026-07-27T07:39:20Z)
• Data Augmentation as Free Lunch: Exploring the Test-Time Augmentation for Sequential Recommendation [9.55994486328914]
  既存の方法は、モデルトレーニング中に新しいが効果的なデータを生成し、パフォーマンスを向上させる。 デプロイには、再トレーニング、アーキテクチャ修正、追加の学習可能なパラメータの導入が必要だ。 モデル推論中に入力を加算し、モデルが拡張したデータに対する予測を集約し、最終的な精度を向上させる。
  論文  参考訳（メタデータ） (2025-04-07T08:56:16Z)
• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)
• See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
  この課題を解決するために,LMMのカスケードと共同学習手法を提案する。 得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
  論文  参考訳（メタデータ） (2023-12-13T18:58:04Z)
• Learning Mask-aware CLIP Representations for Zero-Shot Segmentation [120.97144647340588]
  Mask-awareProposals CLIP (IP-CLIP) は任意の数の画像とマスクの提案を同時に処理するために提案されている。 マスク認識損失と自己蒸留損失はIP-CLIPを微調整するように設計されており、CLIPが異なるマスク提案に応答することを保証している。 我々は、人気のあるゼロショットベンチマークで広範な実験を行う。
  論文  参考訳（メタデータ） (2023-09-30T03:27:31Z)
• Fire Together Wire Together: A Dynamic Pruning Approach with Self-Supervised Mask Prediction [12.86325214182021]
  動的モデルプルーニング(Dynamic Model pruning)は、デプロイ中の各入力サンプルに対する異なるサブネットワークの推測を可能にする、最近の方法である。 現在の動的手法は、間隔損失を誘導することによって正規化を通じて連続的なチャネルゲーティングを学ぶことに依存している。 我々は,CIFARおよびImageNet上で,VGG,ResNet,MobileNetなどのニューラルネットワークの実験を行った。
  論文  参考訳（メタデータ） (2021-10-15T17:39:53Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。