論文の概要: ColLab: A Collaborative Spatial Progressive Data Engine for Referring Expression Comprehension and Generation
- arxiv url: http://arxiv.org/abs/2509.23955v1
- Date: Sun, 28 Sep 2025 16:21:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.551564
- Title: ColLab: A Collaborative Spatial Progressive Data Engine for Referring Expression Comprehension and Generation
- Title（参考訳）: ColLab: 表現理解と生成の参照のための協調的空間進行型データエンジン
- Authors: Shilan Zhang, Jirui Huang, Ruilin Yao, Cong Wang, Yaxiong Chen, Peng Xu, Shengwu Xiong,
- Abstract要約: ColLabは、人間の監督なしに完全に自動化されたRECとREGデータ生成を可能にする、協調的な空間的プログレッシブデータエンジンである。
ColLab は REC と REG のアノテーション処理を著しく促進し,生成した表現の質と識別性を改善した。
ICCV 2025 MARS2 Challenge on Multimodal Reasoningにおいて,本フレームワークを部分的に採用した。
- 参考スコア（独自算出の注目度）: 22.83728319715156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Referring Expression Comprehension (REC) and Referring Expression Generation (REG) are fundamental tasks in multimodal understanding, supporting precise object localization through natural language. However, existing REC and REG datasets rely heavily on manual annotation, which is labor-intensive and difficult to scale. In this paper, we propose ColLab, a collaborative spatial progressive data engine that enables fully automated REC and REG data generation without human supervision. Specifically, our method introduces a Collaborative Multimodal Model Interaction (CMMI) strategy, which leverages the semantic understanding of multimodal large language models (MLLMs) and large language models (LLMs) to generate descriptions. Furthermore, we design a module termed Spatial Progressive Augmentation (SPA) to enhance spatial expressiveness among duplicate instances. Experiments demonstrate that ColLab significantly accelerates the annotation process of REC and REG while improving the quality and discriminability of the generated expressions. In addition to the core methodological contribution, our framework was partially adopted in the data generation pipeline of the ICCV 2025 MARS2 Challenge on Multimodal Reasoning, enriching the dataset with diverse and challenging samples that better reflect real-world reasoning demands.
- Abstract（参考訳）: Referring Expression Comprehension (REC) と Referring Expression Generation (REG) はマルチモーダル理解における基本的なタスクであり、自然言語による正確なオブジェクトローカライゼーションをサポートする。
しかし、既存のRECとREGデータセットは、労働集約的でスケールが難しい手動アノテーションに大きく依存している。
本論文では,人間の監督なしに完全自動化されたRECとREGデータ生成を可能にする協調的空間進行型データエンジンであるColLabを提案する。
具体的には,MLLM(Multimodal Large Language Model)とLLM(Big Language Model)のセマンティック理解を活用して記述を生成するCMMI(Collaborative Multimodal Model Interaction)戦略を提案する。
さらに、重複インスタンス間の空間表現性を高めるために、SPA(Spatial Progressive Augmentation)と呼ばれるモジュールを設計する。
実験により、ColLabはRECとREGのアノテーションプロセスを大幅に加速し、生成した表現の品質と識別性を改善した。
ICCV 2025 MARS2 Challenge on Multimodal Reasoningでは,本フレームワークを部分的に採用し,実世界の推論要求を反映した多種多様で困難なサンプルでデータセットを充実させた。
関連論文リスト
- Language Models as Semantic Augmenters for Sequential Recommenders [20.934150208996048]
大規模言語モデル(LLM)は、様々なモダリティをまたいだ潜在意味論と文脈的関係を捉えるのに優れています。
このようなシーケンスを自動的に強化するフレームワークであるLaMARを紹介する。
LaMARは、ユーザの意図とメタデータからの項目関係の潜在意味的側面を推測することにより、補助的なコンテキスト信号を生成する。
論文 参考訳（メタデータ） (2025-10-20T19:36:38Z) - CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。
トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。
また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文 参考訳（メタデータ） (2025-10-03T08:50:21Z) - ReMeREC: Relation-aware and Multi-entity Referring Expression Comprehension [29.50623143244436]
ReMeRECは、自然言語の記述に基づいて、イメージ内の特定のエンティティやリージョンをローカライズすることを目的としている。
まず、ReMeXと呼ばれる関係認識型マルチエンタリティRECデータセットを構築した。
次に,複数のエンティティのローカライズに視覚的およびテキスト的手がかりを併用した新しいフレームワークReMeRECを提案する。
論文 参考訳（メタデータ） (2025-07-22T11:23:48Z) - Learning Beyond Limits: Multitask Learning and Synthetic Data for Low-Resource Canonical Morpheme Segmentation [7.766518675734386]
低リソースのトレーニング信号を増強する変圧器を用いた形態素セグメンテーションシステムを提案する。
本フレームワークは, 形態的セグメントとグルースを図形入力から共同で予測する。
我々は,大規模言語モデル(LLM)によって生成された合成学習データを,文脈内学習を用いて統合する。
論文 参考訳（メタデータ） (2025-05-22T15:40:09Z) - SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs [70.79124435220695]
セマンティック強化型Cross-mOdal Retrievalフレームワーク(SemCORE)を提案する。
まず,自然言語の理解と生成に最適化された生成モデルとターゲット識別子を効果的に整合させる構造化自然言語識別器(SID)を構築した。
次に、粒度の細かいターゲット識別を可能にするジェネレーティブ・セマンティック・検証(GSV)戦略を導入する。
論文 参考訳（メタデータ） (2025-04-17T17:59:27Z) - Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation [67.31811007549489]
視覚言語ナビゲーション(VLN)のためのリライト駆動型AugMentation(RAM)パラダイムを提案する。
書き換え機構を応用して, シミュレータフリー, 省力化の両面で新たな観察指導が可能となり, 一般化が促進される。
離散環境 (R2R, REVERIE, R4R) と連続環境 (R2R-CE) の両方における実験により, 本手法の優れた性能と優れた一般化能力が示された。
論文 参考訳（メタデータ） (2025-03-23T13:18:17Z) - New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。
MLLM(Multimodal Large Language Models)の試験場として機能する。
論文 参考訳（メタデータ） (2025-02-27T13:58:44Z) - Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。
上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。
RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
論文 参考訳（メタデータ） (2024-10-11T08:28:04Z) - CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。
従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。
粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
論文 参考訳（メタデータ） (2024-06-25T12:47:04Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳（メタデータ） (2021-01-02T01:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。