論文の概要: Vision Harnessing Agent for Open Ad-hoc Segmentation

• arxiv url: http://arxiv.org/abs/2605.19410v1
• Date: Tue, 19 May 2026 06:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.156975
• Title: Vision Harnessing Agent for Open Ad-hoc Segmentation
• Title（参考訳）: オープンアドホックセグメンテーションのための視覚調和剤
• Authors: Zilin Wang, Stella X. Yu,
• Abstract要約: オープンアドホックセグメンテーションのための視覚誘導アドホックエージェント(VASA)を提案する。 VASAは視覚操作を計画し、セグメンテーションツールを起動し、結果を検査し、マスクを編集し、エラーから回復する。 PARSはPartImageNetのパートレベルのラベルをオープンなアドホックな概念に変換する新しいベンチマークである。
• 参考スコア（独自算出の注目度）: 30.00544518522118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Segmentation has become easy when the concept is known, requiring retrieval of a learned visual grounding from text. It remains hard for open ad-hoc concepts, where the grounding may not exist as one learned mask and must often be constructed from image evidence through parts, relations, exclusions, and collections. We propose a Vision-guided Ad-hoc Segmentation Agent (VASA), the first vision harnessing agent for open ad-hoc segmentation. VASA is training-free and couples a VLM agent, a segmentation foundation model, and a visually grounded workflow. Rather than revising text prompts alone, VASA uses a persistent working mask to reason, construct, and validate a solution. It plans visual operations, invokes segmentation tools, inspects results, edits the mask, and recovers from errors. We construct PARS, a new benchmark that turns part-level labels in PartImageNet into open ad-hoc concepts through long-form definition queries. On PARS, VASA outperforms open-vocabulary, reasoning-based, and agentic baselines, surpassing SAM3 Agent by 14-25%. On RefCOCOm, a standard multi-granularity referring segmentation benchmark, VASA improves over SAM3 Agent by 5-9% and over other agentic baselines by up to 20%. These results validate agentic visual construction for open ad-hoc segmentation. Our work points to a path for AI agents beyond wrapping foundation models as tools: Programming them with task knowledge, VLM behavior, visual routines, working memory, and failure-aware workflows.
• Abstract（参考訳）: セグメンテーションは概念が分かっているときに容易になり、テキストから学習した視覚的グラウンドを検索する必要がある。 オープンなアドホックな概念では、基礎は1つの学習マスクとして存在せず、部品、関係性、排除、コレクションを通じて画像証拠から構築されなければならない。 本稿では,視覚誘導型アドホックセグメンテーションエージェント (VASA) を提案する。 VASAはトレーニングフリーで、VLMエージェント、セグメンテーション基盤モデル、視覚的に基盤化されたワークフローを結合する。 テキストプロンプトを単独で修正するのではなく、VASAは永続的な作業マスクを使用して、ソリューションを推論、構築、検証する。 ビジュアル操作を計画し、セグメンテーションツールを実行し、結果を検査し、マスクを編集し、エラーから回復する。 PARSはPartImageNetのパートレベルのラベルを長文定義クエリによってオープンなアドホックな概念に変換する新しいベンチマークである。 PARSでは、VASAはオープン語彙、推論ベース、エージェントベースラインを14-25%上回り、SAM3エージェントを上回っている。 標準的なマルチグラニュラリティ参照セグメンテーションベンチマークであるRefCOCOmでは、VASAはSAM3エージェントを5-9%改善し、他のエージェントベースラインを20%改善している。 これらの結果は、オープンアドホックセグメンテーションのためのエージェント視覚構成を検証する。 タスク知識、VLMの振る舞い、視覚ルーチン、作業メモリ、障害対応ワークフローでそれらをプログラミングします。

関連論文リスト

• X-SAM: From Segment Anything to Any Segmentation [63.79182974315084]
  大きな言語モデル(LLM)は、広い知識表現において強力な能力を示すが、本質的にはピクセルレベルの知覚的理解において不十分である。 テキスト化からテキスト化まで,セグメンテーションパラダイムを拡張したマルチモーダル大規模言語モデルフレームワークであるX-SAMを提案する。 インタラクティブな視覚的プロンプトで全てのインスタンスオブジェクトをセグメンテーションし、視覚的グラウンドでピクセルワイドな解釈能力を持つMLLMに権限を与える、Visual GrounDed (VGD)セグメンテーションと呼ばれる新しいセグメンテーションタスクを提案する。
  論文  参考訳（メタデータ） (2025-08-06T17:19:10Z)
• Think Before You Segment: An Object-aware Reasoning Agent for Referring Audio-Visual Segmentation [61.37076111486196]
  Ref-AVSは、対象のオブジェクトを所定の参照表現に基づいて可聴ビデオに分割することを目的としている。 本稿では,タスクをThink-Ground-Segmentプロセスに分解するTGS-Agentを提案する。 Ref-Thinkerはマルチモーダル言語モデルであり、テキスト、視覚、聴覚の手がかりを推論することができる。
  論文  参考訳（メタデータ） (2025-08-06T13:05:09Z)
• Show or Tell? Effectively prompting Vision-Language Models for semantic segmentation [22.057386630831402]
  大規模ビジョンランゲージモデルでは、タスク固有のトレーニングを使わずに、プロンプトによって多様なタスクを解決するように指示することができる。 テキストまたは視覚的プロンプトによって導かれる最近のモデルのセグメンテーション性能を評価する。 本稿では,テキストと視覚的プロンプトを組み合わせたトレーニング不要のベースラインであるPromptMatcherを提案する。
  論文  参考訳（メタデータ） (2025-03-25T13:36:59Z)
• Leveraging Vision-Language Models for Open-Vocabulary Instance Segmentation and Tracking [15.551049337773962]
  視覚言語モデル(VLM)は視覚的理解に優れるが、しばしば信頼性の高い接地能力と行動可能な推論速度を欠いている。 VLMの生成した構造化記述を用いて、可視オブジェクトのインスタンスを識別し、アプリケーション関連属性を収集し、開語彙検出器に通知し、対応するバウンディングボックスを抽出する。 トラックは、必要に応じて、新しい構造化された記述と検出を生成することで、オンラインで更新することができる。
  論文  参考訳（メタデータ） (2025-03-18T20:18:42Z)
• Think Before You Segment: High-Quality Reasoning Segmentation with GPT Chain of Thoughts [64.93416171745693]
  ThinkFirstはトレーニング不要の推論セグメンテーションフレームワークである。 我々のアプローチでは、GPT-4oや他の強力なMLLMが画像の詳細なチェーン記述を生成することができる。 この要約された記述は、セグメンテーションプロセスを支援するために言語で指示されたセグメンテーションアシスタントに渡される。
  論文  参考訳（メタデータ） (2025-03-10T16:26:11Z)
• Test-Time Optimization for Domain Adaptive Open Vocabulary Segmentation [15.941958367737408]
  Seg-TTOはゼロショットでオープンなセマンティックセグメンテーションのためのフレームワークである。 このギャップに対処するために、セグメンテーション固有のテスト時間最適化にフォーカスします。 Seg-TTOは明確なパフォーマンス向上(いくつかのデータセットで最大27%のmIoU増加)を示し、新たな最先端の確立を実現している。
  論文  参考訳（メタデータ） (2025-01-08T18:58:24Z)
• CALICO: Part-Focused Semantic Co-Segmentation with Large Vision-Language Models [2.331828779757202]
  本稿では,マルチイメージ部分レベルの推論セグメンテーションのためのLVLM(Large Vision-Language Model)を提案する。 セマンティックな部分レベルの対応を識別する新しい対応抽出モジュールと、この情報をLVLMに埋め込む適応対応モジュールである。 パラメータの0.3%しか微調整されていないCALICOは,この課題に対して高いパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-12-26T18:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。