論文の概要: DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation
- arxiv url: http://arxiv.org/abs/2608.22885v1
- Date: Mon, 24 Aug 2026 07:18:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.928969
- Title: DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation
- Title(参考訳): DRAgent:表現セグメンテーションの参照のための識別的推論剤
- Abstract要約: DRAgentはMLLMによるReferring Expressionの差別的推論フレームワークである。
DRAgentはRefCOCO、RefCOCO+、RefCOCOgで競争力を発揮する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Referring Expression Segmentation (RES) aims to generate a pixel-level mask for the object specified by a language expression. Recent methods based on multimodal large language models (MLLMs) often rely on one-pass coordinate prediction for visual localization, which serializes continuous spatial locations as discrete text tokens and may lead to localization bias and alignment errors. To address these issues, we propose DRAgent, an MLLM-driven discriminative reasoning (DR) framework for RES. Instead of requiring the MLLM to generate localization coordinates, DRAgent first constructs a detector-generated candidate space and then uses the MLLM as a visual-semantic target discriminator. Specifically, the MLLM performs reliable target selection among potential distractors through a two-stage DR mechanism, which first screens high-recall candidates and then performs instance-wise verification. The selected target box is subsequently used as a spatial prompt for a foundation segmentation model to produce the final pixel-level mask. Furthermore, we construct a self-consistency-filtered reasoning-chain data pipeline for LoRA-based fine-tuning, providing more reliable supervision for enhancing the MLLM's discriminative reasoning capability. Experiments demonstrate that DRAgent achieves competitive performance on RefCOCO, RefCOCO+, and RefCOCOg.
- Abstract(参考訳): Referring Expression Segmentation (RES)は、言語表現によって指定されたオブジェクトのピクセルレベルのマスクを生成することを目的としている。
近年のMLLM(Multimodal large language model)に基づく手法では、連続的な空間位置を離散テキストトークンとしてシリアライズし、局所化バイアスやアライメントエラーにつながる可能性がある。
これらの問題に対処するために,MLLM による RES のための差別的推論 (DR) フレームワーク DRAgent を提案する。
ローカライゼーション座標を生成するためにMLLMを必要とする代わりに、DRAgentはまず検出器が生成する候補空間を構築し、次にMLLMを視覚的セマンティックなターゲット判別器として使用する。
具体的には、MLLMは、2段階のDR機構により、潜在的なイントラクタ間の信頼性の高いターゲット選択を行い、まずハイリコール候補をスクリーニングし、インスタンスワイズ検証を行う。
選択されたターゲットボックスはその後、ファンデーションセグメンテーションモデルの空間的プロンプトとして使用され、最終画素レベルマスクを生成する。
さらに,LoRAを用いた微調整のための自己整合型推論チェーンデータパイプラインを構築し,MLLMの識別的推論能力を高めるための信頼性の高い監視を行う。
実験により、DRAgentはRefCOCO、RefCOCO+、RefCOCOgで競争力を発揮することが示された。
関連論文リスト
- ProtoRAG: Prototype-Based Retrieval Augmentation for Few-Shot Fine-Grained Remote Sensing Object Detection [14.475375107679731]
リモートセンシング画像における微粒な物体検出は、限定的なアノテーションがオブジェクトの局所化と識別の両方をサポートする必要があるため、困難である。
本稿では,粗い局所化を微粒化認識から切り離すプロトタイプベースの検索拡張フレームワークProtoRAGを提案する。
本研究では,不確実性誘導型候補制約推論戦略を開発し,MLLMを検索した候補固有の視覚的参照で拡張する。
論文 参考訳(メタデータ) (2026-09-05T07:40:19Z) - Seg-Agent: Test-Time Multimodal Reasoning for Training-Free Language-Guided Segmentation [52.8308168727975]
Seg-Agentは完全にトレーニング不要のフレームワークで、Explicit Multimodal Chain-of-Reasoningの先駆者です。
提案手法は, 生成, 選択, 洗練の3段階からなる対話型視覚推論ループを構築する。
various-LangSegは、明示的なセマンティック、ジェネリックオブジェクト、推論誘導セグメンテーションタスクをカバーする新しいベンチマークである。
論文 参考訳(メタデータ) (2026-05-13T03:36:44Z) - RemoteAgent: Bridging Vague Human Intents and Earth Observation with RL-based Agentic MLLMs [55.44696796126619]
地球観測システムは、曖昧な自然言語を通じて要求を表現するドメインの専門家を支援するように設計されている。
実用的なEOAIシステムは、あいまいな人間のクエリと適切な多粒度視覚分析タスクのギャップを埋めなければならない。
MLLMの能力固有の境界を戦略的に尊重するエージェントフレームワークであるRemoteAgentを提案する。
論文 参考訳(メタデータ) (2026-04-09T03:40:46Z) - Discover, Segment, and Select: A Progressive Mechanism for Zero-shot Camouflaged Object Segmentation [40.66340261994875]
textbfDSSは段階的にセグメンテーションを洗練するために設計されたプログレッシブフレームワークである。
複数のCOSベンチマーク、特に複数のインスタンスシーンで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-02-23T15:15:37Z) - AgenticTagger: Structured Item Representation for Recommendation with LLM Agents [58.12004213978182]
AgenticTagger は LLM をクエリして,項目をテキスト記述子のシーケンスで表現するフレームワークである。
アイテムコーパス内の語彙を効果的かつ効率的に基底化するために,多エージェント反射機構を設計する。
公開データとプライベートデータの実験では、AgenticTaggerがさまざまなレコメンデーションシナリオに一貫した改善をもたらしている。
論文 参考訳(メタデータ) (2026-02-05T18:01:37Z) - ResAgent: Entropy-based Prior Point Discovery and Visual Reasoning for Referring Expression Segmentation [21.87321809019825]
Referring Expression(RES)は、自由形式の言語表現によるターゲットのピクセルレベルの理解を可能にする、コアビジョン言語セグメンテーションタスクである。
textbfmodelは textbfEntropy-textbfBased Point textbfDiscovery (textbfEBD) と textbfVision-textbfBased textbfReasoning (textbfVBR) を統合する新しいRESフレームワークである。
model は coarse-to を実装します
論文 参考訳(メタデータ) (2026-01-23T01:56:04Z) - 1 + 1 > 2: Detector-Empowered Video Large Language Model for Spatio-Temporal Grounding and Reasoning [53.28271278708241]
本稿では,DEViL の略である Detector-Empowered Video LLM を提案する。
DEViLはオープンボキャブラリ検出器(OVD)とビデオLLMを結合する
単に空間的なプロンプトやセグメンタスイッチとして機能するトークンとは異なり、RTTは制御信号とOVDのテキスト埋め込みの置き換えの両方として機能する。
論文 参考訳(メタデータ) (2025-12-07T06:11:15Z) - Connecting the Dots: Training-Free Visual Grounding via Agentic Reasoning [63.109585527799005]
GroundingAgentは、タスク固有の微調整なしで動作するビジュアルグラウンドティングフレームワークである。
広く使用されているベンチマークでは、平均ゼロショットグラウンドの精度は65.1%である。
また、強い解釈可能性を提供し、各推論ステップを透過的に照らす。
論文 参考訳(メタデータ) (2025-11-24T03:11:08Z) - GSVA: Generalized Segmentation via Multimodal Large Language Models [72.57095903188922]
Generalized Referring Expression (GRES)は、従来のRESの範囲を拡張して、1つの式で複数のオブジェクトを参照したり、画像に存在しない空のターゲットを特定する。
セグメンテーションMLLMは、ユーザが特定のプロンプトで複数の主題を参照するケースを正しく扱えないため、現在のGRESの解決策は満足できないままである。
本稿では,このギャップに対処する汎用ビジョンアシスタント(GSVA)を提案する。
論文 参考訳(メタデータ) (2023-12-15T02:54:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。