論文の概要: Synergistic Dual-Branch Adaptation for Multi-modal Generalized Category Discovery

• arxiv url: http://arxiv.org/abs/2606.21446v1
• Date: Fri, 19 Jun 2026 14:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 13:23:55.535522
• Title: Synergistic Dual-Branch Adaptation for Multi-modal Generalized Category Discovery
• Title（参考訳）: 多モード一般化カテゴリー探索のための相乗的デュアルブランチ適応
• Authors: Yuxun Qu, Minyu Zhou, Yongqiang Tang, Chenyang Zhang, Wensheng Zhang,
• Abstract要約: Generalized Category Discovery (GCD)は、古いカテゴリを分類し、ラベルのないデータから新しいカテゴリを見つけることを目的としている。 最近のマルチモーダルアプローチでは、検索されたテキストや合成されたテキストをデュアルブランチアーキテクチャに導入し、視覚的特徴を補完するセマンティックキューを提供する。 本稿では、GETやTextGCDといった既存のデュアルブランチメソッドと互換性のあるプラグイン・アンド・プレイ拡張を提供するSynergistic Dual-Branch Adaptation (SDBA)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.345570085859773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalized Category Discovery (GCD) aims to classify old categories and discover new ones from unlabeled data. Recent multi-modal approaches introduce retrieved or synthesized texts into a dual-branch architecture to provide semantic cues complementary to visual features. However, the cross-modal synergy in existing dual-branch methods remains coarse and incomplete: the two modalities are encoded independently with the bias and noise in the derived text left unaddressed during encoding, and existing mutual learning strategies operate only on global class-level anchors, lacking fine-grained relational supervision. To address these limitations, we propose the Synergistic Dual-Branch Adaptation (SDBA) framework, which serves as a plug-and-play enhancement compatible with existing dual-branch methods such as GET and TextGCD. SDBA comprises two components: the cross-modal synergistic adapter inserts lightweight adapters into both branches and further injects visual information into the text adapter at each encoder layer to enhance text feature learning during encoding; the neighborhood mutual learning module enforces consistent local neighborhood distributions between the two branches via bidirectional KL divergence, providing fine-grained relational supervision for both old and new classes. Extensive experiments on six benchmarks demonstrate state-of-the-art performance, and consistent improvements on different baselines validate the broad scalability of the proposed framework.
• Abstract（参考訳）: Generalized Category Discovery (GCD)は、古いカテゴリを分類し、ラベルのないデータから新しいカテゴリを見つけることを目的としている。 最近のマルチモーダルアプローチでは、検索されたテキストや合成されたテキストをデュアルブランチアーキテクチャに導入し、視覚的特徴を補完するセマンティックキューを提供する。 しかし、既存の二重ブランチ法におけるクロスモーダルな相乗効果は、符号化中に残されている派生テキストのバイアスとノイズと独立に符号化され、既存の相互学習戦略は、大域的なクラスレベルのアンカーでのみ機能し、微粒な関係性管理を欠いている。 このような制約に対処するために, GET や TextGCD などの既存のデュアルブランチメソッドと互換性のあるプラグイン・アンド・プレイ拡張を提供する,Synergistic Dual-Branch Adaptation (SDBA) フレームワークを提案する。 SDBAは、両ブランチに軽量なアダプタを挿入し、エンコーダ層のテキストアダプタに視覚情報を注入し、エンコーディング中のテキスト特徴学習を強化する。 6つのベンチマークに関する大規模な実験は、最先端のパフォーマンスを示し、異なるベースラインにおける一貫した改善は、提案されたフレームワークの広範なスケーラビリティを検証する。

関連論文リスト

• SemiGDA: Generative Dual-distribution Alignment for Semi-Supervised Medical Image Segmentation [14.457064982985566]
  SemiGDAは、半教師付き医療画像セグメンテーションのための生成デュアル配信アライメントフレームワークである。 本手法は他の最先端の半教師付きセグメンテーション法よりも優れている。
  論文  参考訳（メタデータ） (2026-04-25T12:37:01Z)
• Toward Stable Semi-Supervised Remote Sensing Segmentation via Co-Guidance and Co-Fusion [31.189038928192648]
  Co2Sは半教師付きRSセグメンテーションフレームワークで、ビジョン言語モデルと自己教師型モデルとを融合する。 テキスト埋め込みと学習可能なクエリを利用した,明示的でシンプルなセマンティックコガイダンス機構が導入された。 6つの一般的なデータセットに対する実験は,提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2025-12-28T18:24:19Z)
• Text-guided Visual Prompt DINO for Generic Segmentation [31.33676182634522]
  テキスト誘導型ビジュアルプロンプトDINOフレームワークであるPrompt-DINOを提案する。 まず、テキスト/視覚的プロンプトとバックボーン機能を統一する早期融合機構を導入する。 第二に、DreTRアーキテクチャの順序整合クエリ選択を設計する。 第3に,PR(Prompting, Prompting, Prompting, RAP)モデルによる認識情報を利用した生成データエンジンを開発する。
  論文  参考訳（メタデータ） (2025-08-08T09:09:30Z)
• DART: Dual Adaptive Refinement Transfer for Open-Vocabulary Multi-Label Recognition [59.203152078315235]
  Open-Vocabulary Multi-Label Recognition (OV-MLR)は、画像内の複数の見えないオブジェクトカテゴリを識別することを目的としている。 ビジョンランゲージ事前学習モデルは強力なオープン語彙基盤を提供するが、弱い監督下では微粒な局所化に苦慮する。 本稿では,これらの制約を克服するためのDART(Dual Adaptive Refinement Transfer)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:22:33Z)
• Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
  教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。 従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。 本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-27T13:58:12Z)
• EAGER: Two-Stream Generative Recommender with Behavior-Semantic Collaboration [63.112790050749695]
  本稿では,行動情報と意味情報の両方をシームレスに統合する新しい生成推薦フレームワークであるEAGERを紹介する。 EAGERの有効性を4つの公開ベンチマークで検証し,既存手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-20T06:21:56Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Joint Inductive and Transductive Learning for Video Object Segmentation [107.32760625159301]
  半教師付きオブジェクトセグメンテーションは、第1フレームのマスクだけを与えられたビデオシーケンスで対象オブジェクトをセグメンテーションするタスクである。 過去の最も優れた手法は、マッチングベースの帰納的推論やオンライン帰納的学習を採用していた。 本稿では,トランスダクティブ学習とインダクティブ学習を統合したフレームワークに統合し,それら間の補完を利用して,高精度かつ堅牢なビデオオブジェクトセグメンテーションを提案する。
  論文  参考訳（メタデータ） (2021-08-08T16:25:48Z)
• Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation [35.77482102674059]
  言語間のエンティティアライメントは、しばしば特徴的不整合からシーケンス的コンテキスト無意識の課題に悩まされる。 本稿では,言語間エンティティアライメント(DAEA)のための2つの対向学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-16T00:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。