Fugu-MT 論文翻訳(概要): DeCo: Efficient Decouple-to-Couple Learning for Multi-Task Visual Grounding

論文の概要: DeCo: Efficient Decouple-to-Couple Learning for Multi-Task Visual Grounding

arxiv url: http://arxiv.org/abs/2609.24409v1
Date: Mon, 21 Sep 2026 10:58:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-22 20:29:01.258064
Title: DeCo: Efficient Decouple-to-Couple Learning for Multi-Task Visual Grounding
Title（参考訳）: DeCo: マルチタスクビジュアルグラウンドのための効率的な2対結合学習
Abstract要約: マルチタスクの視覚的接地には、言語意味論を共同で理解し、正確な視覚的局所化とセグメンテーションを行うモデルが必要である。効率的な $textbfDe$couple-to-$textbfCo$uple 学習フレームワークである $textbfDeCo$を紹介します。 DeCoは、自然とリモート両方のベンチマークで最先端のパフォーマンスを達成する。
参考スコア（独自算出の注目度）: 60.19375952029603
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multi-task visual grounding requires models to jointly understand linguistic semantics and perform accurate visual localization and segmentation. Despite the success of multimodal large language models, effectively adapting them to multiple grounding objectives remains challenging. Existing methods commonly enforce task cooperation through shared representations, while overlooking the intrinsic conflict between task-oriented feature interests. In this paper, we introduce $\textbf{DeCo}$, an efficient $\textbf{De}$couple-to-$\textbf{Co}$uple learning framework that resolves this dilemma through a two-stage paradigm: task-specific representation decoupling followed by complementary prior coupling. Specifically, we first propose Task-aware Semantic Decoupling (TSD) to route shared visual cues into individual features under salient word-level guidance, alleviating representation interference between localization and segmentation. Furthermore, we observe that segmentation naturally provides informative localization priors due to dense supervision. Based on this insight, we introduce Hybrid Prior Coupling (HPC), which integrates sentence-level semantic prior with mask-derived spatial prior for enhanced grounding. Built upon a frozen multimodal encoder, DeCo requires lightweight trainable parameters while achieving strong generalization across multiple grounding objectives. Extensive experiments on RefCOCO/+, G-Ref, ReferIt, Flickr, DIOR-RSVG, SARVG1.0, RRSIS-D, RIS-LAD, and RefDIOR demonstrate that DeCo achieves state-of-the-art performance on both natural and remote sensing benchmarks. The code and models are available at https://github.com/xiaoqiang-lu/DeCo.
Abstract（参考訳）: マルチタスクの視覚的接地には、言語意味論を共同で理解し、正確な視覚的局所化とセグメンテーションを行うモデルが必要である。マルチモーダルな大規模言語モデルの成功にもかかわらず、効果的に複数の基礎的な目標に適応することは依然として困難である。既存の手法は、タスク指向の特徴的関心事間の本質的な対立を克服しつつ、共有表現を通してタスク協力を強制する。本稿では,このジレンマを2段階のパラダイムによって解決する,効率的な$\textbf{De}$couple-to-$\textbf{Co}$uple学習フレームワークである$\textbf{DeCo}$を紹介した。具体的には、まずタスク対応セマンティックデカップリング(TSD)を提案し、局所化とセグメンテーションの間の表現干渉を軽減する。さらに, セグメンテーションは, 密集した監督により, 情報伝達の先駆けとなることを観察する。この知見に基づいて,文レベルのセマンティクスとマスク由来の空間的セマンティクスを統合したHPC(Hybrid Prior Coupling)を導入する。フリーズされたマルチモーダルエンコーダをベースとしたDeCoは、軽量なトレーニング可能なパラメータを必要とすると同時に、複数の接地目的に対して強力な一般化を実現する。 RefCOCO/+, G-Ref, ReferIt, Flickr, DIOR-RSVG, SARVG1.0, RRSIS-D, RIS-LAD, RefDIORに関する大規模な実験は、DeCoが自然とリモート両方のセンシングベンチマークで最先端のパフォーマンスを達成することを実証している。コードとモデルはhttps://github.com/xiaoqiang-lu/DeCoで公開されている。

関連論文リスト

U-shaped Multi-granularity Learning for Vision-Language Models [8.898786482970456]
視覚言語モデルのための多言語学習フレームワークであるUPromptを提案する。 U-Netと同様に、UPromptは視覚とテキストの両モードで並列な多重粒度表現を構築する。 17のベンチマークに関する大規模な実験は、我々の有効性を検証する。
論文参考訳（メタデータ） (2026-07-16T13:18:08Z)
Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。訓練パラダイムは独立してテキスト信号を通して理解を最適化する密集したピクセルの目的を通して生成する本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
論文参考訳（メタデータ） (2026-05-18T17:46:46Z)
Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
論文参考訳（メタデータ） (2026-03-02T11:38:12Z)
Toward Stable Semi-Supervised Remote Sensing Segmentation via Co-Guidance and Co-Fusion [31.189038928192648]
Co2Sは半教師付きRSセグメンテーションフレームワークで、ビジョン言語モデルと自己教師型モデルとを融合する。テキスト埋め込みと学習可能なクエリを利用した,明示的でシンプルなセマンティックコガイダンス機構が導入された。 6つの一般的なデータセットに対する実験は,提案手法の優位性を実証している。
論文参考訳（メタデータ） (2025-12-28T18:24:19Z)
Objective Soups: Multilingual Multi-Task Modeling for Speech Processing [69.52720282028385]
マルチ言語・マルチタスク音声処理(MSP)のための単一モデルの訓練は,タスク間の目的の相反によって著しく妨げられる。本稿では,多目的MSPの3つの定式化について検討し,これらをthabfobjective soup recipesと呼ぶ。我々の研究は、階層型MOOが最先端のMSPモデルを構築する上で、より効率的でスケーラブルなアプローチであることを実証している。
論文参考訳（メタデータ） (2025-08-12T07:01:09Z)
Progressive Language-guided Visual Learning for Multi-Task Visual Grounding [21.297317604403652]
マルチタスクビジュアルグラウンドティングのためのプログレッシブ言語誘導型ビジュアルラーニングフレームワークを提案する。本稿では,マルチタスク・ビジュアル・グラウンドティングのためのプログレッシブ言語誘導型ビジュアル・ラーニング・フレームワークを提案する。
論文参考訳（メタデータ） (2025-04-22T12:48:12Z)
Multi-task Visual Grounding with Coarse-to-Fine Consistency Constraints [15.541287957548771]
本稿では,粗大な一貫性制約を持つビジュアルグラウンドアーキテクチャを提案する。暗黙的かつ明示的なモデリングアプローチを2段階のフレームワークに統合する。最先端のREC法とRIS法を実質的なマージンで大幅に上回っている。
論文参考訳（メタデータ） (2025-01-12T04:30:13Z)
Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文参考訳（メタデータ） (2024-05-15T00:17:48Z)
Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文参考訳（メタデータ） (2021-05-17T13:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。