論文の概要: SaFiRe: Saccade-Fixation Reiteration with Mamba for Referring Image Segmentation

• arxiv url: http://arxiv.org/abs/2510.10160v1
• Date: Sat, 11 Oct 2025 10:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.817625
• Title: SaFiRe: Saccade-Fixation Reiteration with Mamba for Referring Image Segmentation
• Title（参考訳）: SaFiRe:イメージセグメンテーション参照のためのMambaによるサケードフィクスレーション
• Authors: Zhenjie Mao, Yuhuan Yang, Chaofan Ma, Dongsheng Jiang, Jiangchao Yao, Ya Zhang, Yanfeng Wang,
• Abstract要約: Referring Image (RIS) は、自然言語で表現された画像に対象のオブジェクトを分割することを目的としている。 最近の手法は主に「赤い車」や「左少女」のような単純な表現に焦点を当てている
• 参考スコア（独自算出の注目度）: 58.80001825332851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring Image Segmentation (RIS) aims to segment the target object in an image given a natural language expression. While recent methods leverage pre-trained vision backbones and more training corpus to achieve impressive results, they predominantly focus on simple expressions--short, clear noun phrases like "red car" or "left girl". This simplification often reduces RIS to a key word/concept matching problem, limiting the model's ability to handle referential ambiguity in expressions. In this work, we identify two challenging real-world scenarios: object-distracting expressions, which involve multiple entities with contextual cues, and category-implicit expressions, where the object class is not explicitly stated. To address the challenges, we propose a novel framework, SaFiRe, which mimics the human two-phase cognitive process--first forming a global understanding, then refining it through detail-oriented inspection. This is naturally supported by Mamba's scan-then-update property, which aligns with our phased design and enables efficient multi-cycle refinement with linear complexity. We further introduce aRefCOCO, a new benchmark designed to evaluate RIS models under ambiguous referring expressions. Extensive experiments on both standard and proposed datasets demonstrate the superiority of SaFiRe over state-of-the-art baselines.
• Abstract（参考訳）: Referring Image Segmentation (RIS)は、自然言語で表現された画像に対象のオブジェクトを分割することを目的としている。 近年の手法では、トレーニング済みの視覚バックボーンとトレーニングコーパスを駆使して、印象的な結果が得られる一方で、ショートで明確な名詞句である「レッドカー」や「左ガール」に重点を置いている。 この単純化は、RISをキーワード/コンセプトマッチングの問題に還元し、モデルが表現の参照あいまいさを扱う能力を制限している。 本研究では,対象クラスが明示的に記述されていない,文脈的手がかりを持つ複数のエンティティを含むオブジェクト抽出式とカテゴリ単純化式という,現実の難易度の高い2つのシナリオを特定する。 これらの課題に対処するために,人間の二相認知過程を模倣した新しいフレームワークSaFiReを提案する。 これはMambaのScan-then-update特性によって自然に支持され、これは当社のフェーズ設計と整合し、線形複雑性を伴う効率的なマルチサイクル精製を可能にする。 さらに、曖昧な参照表現の下でRISモデルを評価するために設計された新しいベンチマークであるaRefCOCOを紹介する。 標準および提案されたデータセットの広範な実験は、最先端のベースラインよりもSaFiReの方が優れていることを示している。

関連論文リスト

• ConText: Driving In-context Learning for Text Removal and Segmentation [59.6299939669307]
  本稿では,視覚的インコンテキスト学習パラダイムを光学的文字認識タスクに適用する最初の研究について述べる。 画像除去・分離方式のタスクチェイン・コンポジトリを提案する。 また、連鎖したプロンプトパターンを潜在クエリ表現に統合するコンテキスト認識アグリゲーションも導入する。
  論文  参考訳（メタデータ） (2025-06-04T10:06:32Z)
• IteRPrimE: Zero-shot Referring Image Segmentation with Iterative Grad-CAM Refinement and Primary Word Emphasis [46.502962768034166]
  Zero-shot Referring Imageは、トレーニングや微調整なしで参照式に最も適したインスタンスマスクを特定する。 従来のCLIPモデルでは、物体の相対的な空間的関係を識別する能力が顕著に低下していた。 IteRPrimEは従来の最先端のゼロショットメソッドよりも優れており、特にドメイン外のシナリオでは優れている。
  論文  参考訳（メタデータ） (2025-03-02T15:19:37Z)
• Towards Generalizable Referring Image Segmentation via Target Prompt and Visual Coherence [48.659338080020746]
  Referring Image segmentation (RIS) は、自由なテキスト記述に基づいて画像条件でオブジェクトを分割することを目的としている。 本稿では,先述の2つのジレンマに対処することにより,一般化能力を大幅に向上させる新しいRISアプローチを提案する。 特に、制約のないテキストを扱うために、明示的で決定的なプロンプトで与えられた表現を増強し、統一された文脈での表現を補完することを提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:31:24Z)
• Referring Expression Comprehension Using Language Adaptive Inference [15.09309604460633]
  本稿では,動的推論のための表現モデルとRECモデルの適応性について検討する。 本稿では,参照表現に条件付きRECモデルから言語適応を抽出できるLanguage Adaptive Subnets (LADS) というフレームワークを提案する。 RefCOCO, RefCO+, RefCOCOg, Referit の実験により, 提案手法はより高速な推論速度と最先端手法に対する高精度な精度を実現することを示した。
  論文  参考訳（メタデータ） (2023-06-06T07:58:59Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
  会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。 具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。 以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T12:10:02Z)
• Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
  Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。 本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。 この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
  論文  参考訳（メタデータ） (2021-10-09T02:53:39Z)
• Referring Expression Comprehension: A Survey of Methods and Datasets [20.42495629501261]
  Referring Expression comprehension (REC) は、自然言語で表現された参照表現によって記述された画像中の対象物をローカライズすることを目的としている。 まず,問題に対する近代的アプローチを比較検討する。 構造化グラフ表現と相互作用するモジュラーアーキテクチャとグラフベースモデルについて論じる。
  論文  参考訳（メタデータ） (2020-07-19T01:45:02Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• Cops-Ref: A new Dataset and Task on Compositional Referring Expression Comprehension [39.40351938417889]
  Referring Expression comprehension (REF) は、シーン内の特定のオブジェクトを自然言語で識別することを目的としている。 いくつかの一般的な参照式データセットは、モデルの推論能力を評価するのに理想的なテストベッドを提供していない。 本稿では,2つの特徴を持つ表現理解の文脈における視覚的推論のための新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2020-03-01T04:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。