論文の概要: ROSE: Retrieval-Oriented Segmentation Enhancement

• arxiv url: http://arxiv.org/abs/2604.14147v1
• Date: Wed, 15 Apr 2026 17:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.673881
• Title: ROSE: Retrieval-Oriented Segmentation Enhancement
• Title（参考訳）: ROSE: 検索指向セグメンテーションの強化
• Authors: Song Tang, Guangquan Jie, Henghui Ding, Yu-Gang Jiang,
• Abstract要約: 既存のマルチモーダル大言語モデル(MLLM)に基づくセグメンテーションモデルは、最新の知識を組み込むことができないため、しばしば新しいまたは新しいエンティティと競合する。 本論文では,学習データがないためMLLMが認識できない新規なエンティティのセグメンテーションと,モデルの知識の中に存在するが,正確な認識のために最新の情報を要求する新興エンティティのセグメンテーションに焦点を当てた,NEST(Novel Emerging Task)を紹介した。 Rose: Retrieval-Oriented Enhancementは、MLLMベースのセグメンテーションモデルを拡張するために設計されたプラグインとプレイのフレームワークです。
• 参考スコア（独自算出の注目度）: 79.7370065070812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing segmentation models based on multimodal large language models (MLLMs), such as LISA, often struggle with novel or emerging entities due to their inability to incorporate up-to-date knowledge. To address this challenge, we introduce the Novel Emerging Segmentation Task (NEST), which focuses on segmenting (i) novel entities that MLLMs fail to recognize due to their absence from training data, and (ii) emerging entities that exist within the model's knowledge but demand up-to-date external information for accurate recognition. To support the study of NEST, we construct a NEST benchmark using an automated pipeline that generates news-related data samples for comprehensive evaluation. Additionally, we propose ROSE: Retrieval-Oriented Segmentation Enhancement, a plug-and-play framework designed to augment any MLLM-based segmentation model. ROSE comprises four key components. First, an Internet Retrieval-Augmented Generation module is introduced to employ user-provided multimodal inputs to retrieve real-time web information. Then, a Textual Prompt Enhancer enriches the model with up-to-date information and rich background knowledge, improving the model's perception ability for emerging entities. Furthermore, a Visual Prompt Enhancer is proposed to compensate for MLLMs' lack of exposure to novel entities by leveraging internet-sourced images. To maintain efficiency, a WebSense module is introduced to intelligently decide when to invoke retrieval mechanisms based on user input. Experimental results demonstrate that ROSE significantly boosts performance on the NEST benchmark, outperforming a strong Gemini-2.0 Flash-based retrieval baseline by 19.2 in gIoU.
• Abstract（参考訳）: LISAのようなマルチモーダルな大言語モデル(MLLM)に基づく既存のセグメンテーションモデルは、最新の知識を組み込むことができないため、しばしば新規または新興のエンティティと競合する。 この課題に対処するために、セグメント化に焦点を当てたNovel Emerging Segmentation Task (NEST)を導入する。 一 MLLMが訓練データの欠如により認識できない新しい実体、及び 二 モデルの知識の中に存在するが、正確な認識のために最新の外部情報を要求する新興エンティティ。 NEST研究を支援するために,ニュース関連データサンプルを生成する自動パイプラインを用いたNESTベンチマークを構築し,総合評価を行った。 さらに ROSE: Retrieval-Oriented Segmentation Enhancement という,MLLM ベースのセグメンテーションモデルの拡張を目的としたプラグイン・アンド・プレイフレームワークを提案する。 ROSEは4つのキーコンポーネントから構成される。 まず、ユーザが提供するマルチモーダル入力を用いてリアルタイムWeb情報を取得するために、Internet Retrieval-Augmented Generationモジュールを導入する。 次に、Textual Prompt Enhancerは、最新の情報と豊富な背景知識でモデルを強化し、新しいエンティティに対するモデルの知覚能力を向上させる。 さらに, MLLMの新規な実体への露出の欠如を補うために, インターネットソース画像を活用するVisual Prompt Enhancerを提案する。 効率を維持するため、WebSenseモジュールを導入し、ユーザ入力に基づいて検索メカニズムをいつ呼び出すべきかをインテリジェントに決定する。 実験の結果、ROSEはNESTベンチマークのパフォーマンスを大幅に向上させ、gIoUの19.2で強力なGemini-2.0 Flashベースの検索ベースラインを上回った。

関連論文リスト

• LEMUR Neural Network Dataset: Towards Seamless AutoML [35.57280723615144]
  我々は、PyTorchベースのニューラルネットワークの大規模なコレクションを提供するオープンソースのデータセットとフレームワークであるLEMURを紹介する。 各モデルは統一されたテンプレートに従い、構成と結果が構造化データベースに格納され、一貫性が保証される。 LEMURはAutoMLの研究を加速し、公正なベンチマークを可能にし、大規模ニューラルネットワーク研究の障壁を減らすことを目的としている。
  論文  参考訳（メタデータ） (2025-04-14T09:08:00Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• RoRA-VLM: Robust Retrieval-Augmented Vision Language Models [41.09545760534495]
  RORA-VLMは、視覚言語モデルに特化して設計された、新規で堅牢な検索拡張フレームワークである。 提案手法の有効性とロバスト性を,広く採用されている3つのベンチマークデータセット上で検証する。
  論文  参考訳（メタデータ） (2024-10-11T14:51:00Z)
• Towards Enhancing Linked Data Retrieval in Conversational UIs using Large Language Models [1.3980986259786221]
  本稿では,既存のシステムにおけるLarge Language Models(LLM)の統合について検討する。 LLMの高度な自然言語理解機能を活用することで、Webシステム内のRDFエンティティ抽出を改善する。 本手法の評価は,ユーザクエリに対するシステム表現性と応答精度の顕著な向上を示す。
  論文  参考訳（メタデータ） (2024-09-24T16:31:33Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。 既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。 本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。