論文の概要: SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation
- arxiv url: http://arxiv.org/abs/2609.08867v1
- Date: Tue, 08 Sep 2026 15:11:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 15:26:22.268831
- Title: SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation
- Title(参考訳): SeGDeP: セグメンテーションのための意味的および幾何学的認識型デカップリングプロンプト
- Abstract要約: 推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
- 参考スコア(独自算出の注目度): 51.46828526392219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning segmentation converts an implicit linguistic conclusion into a precise mask, requiring both semantic identification and spatial grounding. Existing MLLM-segmenter interfaces either use a special trigger or compress both signals into one context, although they receive different supervision and fail differently. This coupling obscures whether a failure arises from target interpretation or from localization. We present SeGDeP, an explicit what-where interface. A semantic prompt branch and an independent geometric projection path transform resolved MLLM states into semantic features and a DETR-predicted box, which jointly condition a SAM 3 mask decoder. Training first aligns this executable interface, then uses group reward-decoupled policy optimization (GDPO) to balance format, box-IoU, and mask-IoU feedback. SeGDeP-4B reaches 82.7 average cIoU over eight RefCOCO-family splits and 66.0/59.6 gIoU on ReasonSeg val/test while adapting only 0.38% of Qwen3-VL parameters through LoRA. Controlled stage-wise ablations, gradient diagnostics, and prompt interventions further show that the two paths develop complementary semantic and geometric specialization rather than duplicating the same evidence.
- Abstract(参考訳): 推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換し、意味的識別と空間的接地の両方を必要とする。
既存のMLLMセグメンタインタフェースは特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
この結合は、障害がターゲットの解釈から発生するのか、あるいはローカライゼーションから生じるのかを曖昧にする。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
意味的プロンプト分岐と独立幾何学的プロジェクションパス変換により、MLLMは意味的特徴と、SAM 3マスクデコーダを併用したDETR予測ボックスに変化する。
トレーニングはまず、この実行可能なインターフェースを調整し、次にグループ報酬分離ポリシー最適化(GDPO)を使用して、フォーマット、ボックスIoU、マスクIoUフィードバックのバランスをとる。
SeGDeP-4Bは8つのRefCOCOファミリーで平均82.7 cIoUに達し、ReasonSeg val/testでは66.0/59.6 gIoU、LoRAではQwen3-VLパラメータの0.38%しか適応していない。
制御された段階的改善、勾配診断、迅速な介入は、2つの経路が同一の証拠を重複させるよりも相補的意味論と幾何学的特殊化を発達させることを示している。
関連論文リスト
- A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM [40.07171947823021]
CoT(Chain-of-Thought)は、LLM(Large Language Models)の推論能力を改善するが、かなりの計算とコンテキストコストを発生させる。
A*-Thought-V2 は LLM ガイドフレームワークの幾何学的ダイナミクスであり,COT を隠れ状態軌道としてモデル化し,ハード削除を明示的かつ単純でインターリーブな潜在アーキテクチャに置き換える。
論文 参考訳(メタデータ) (2026-09-07T17:56:20Z) - Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。
我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。
9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
論文 参考訳(メタデータ) (2026-08-31T08:44:36Z) - DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation [0.0]
DRAgentはMLLMによるReferring Expressionの差別的推論フレームワークである。
DRAgentはRefCOCO、RefCOCO+、RefCOCOgで競争力を発揮する。
論文 参考訳(メタデータ) (2026-08-24T07:18:38Z) - Steering Vision-Language Models with Joint Sparse Autoencoders [2.367986397868328]
連成スパースオートエンコーダ(JSAE)を導入し、シーケンスプールされた視覚と言語アクティベーションを、共用、解釈可能な画像/カプセルレベルの特徴に分解する。
JSAEを視覚言語モデル(VLM)に適用すると、制御可能なクロスモーダルステアリングの方向として使うのが難しい表現が得られる。
論文 参考訳(メタデータ) (2026-06-24T10:11:04Z) - SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。
本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
論文 参考訳(メタデータ) (2026-06-11T17:59:36Z) - SegRAG: Training-Free Retrieval-Augmented Semantic Segmentation [13.665861251747144]
SegRAGは、トレーニング不要の検索拡張セグメンテーションフレームワークである。
SAM3には、DINOv3機能バンクから派生したクラス固有のポイントプロンプトがある。
4つの標準ベンチマークでは、SegRAGはテキストのみのベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-05-17T19:51:32Z) - Trans-RAG: Query-Centric Vector Transformation for Secure Cross-Organizational Retrieval [16.56643936191435]
Trans-RAGは、各組織の知識が数学的に孤立した意味空間に存在する新しいベクトル空間言語パラダイムを実装している。
テストでは、nDCG@10の3.5%の精度低下が最小限に抑えられ、同型暗号よりも大幅に効率が向上した。
論文 参考訳(メタデータ) (2026-04-10T17:58:06Z) - RSRefSeg 2: Decoupling Referring Remote Sensing Image Segmentation with Foundation Models [25.265113510539546]
Referring Remote Sensing Imageは、リモートセンシングシーン分析のための柔軟できめ細かいフレームワークを提供する。
現在のアプローチでは、デュアルモーダル符号化、クロスモーダル相互作用、ピクセルデコーディングを含む3段階のパイプラインを使用している。
本稿では,従来のワークフローを協調的な2段階のフレームワークに再構成する疎結合パラダイム RSRefSeg 2 を提案する。
論文 参考訳(メタデータ) (2025-07-08T17:59:58Z) - Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。
既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。
より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
論文 参考訳(メタデータ) (2024-12-11T09:53:10Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳(メタデータ) (2024-10-17T07:47:41Z) - HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。
本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。
4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-30T14:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。