論文の概要: Rein++: Efficient Generalization and Adaptation for Semantic Segmentation with Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2508.01667v1
• Date: Sun, 03 Aug 2025 08:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.996791
• Title: Rein++: Efficient Generalization and Adaptation for Semantic Segmentation with Vision Foundation Models
• Title（参考訳）: Rein++:ビジョンファウンデーションモデルによるセマンティックセグメンテーションの効率的な一般化と適応
• Authors: Zhixiang Wei, Xiaoxiao Ma, Ruishen Yan, Tao Tu, Huaian Chen, Jinjin Zheng, Yi Jin, Enhong Chen,
• Abstract要約: Rein++は効率的なVFMベースのセグメンテーションフレームワークである。 これは限られたデータからの優れた一般化を示す。 多様な未ラベルシナリオへの効果的な適応を可能にする。
• 参考スコア（独自算出の注目度）: 47.66611300605174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Foundation Models(VFMs) have achieved remarkable success in various computer vision tasks. However, their application to semantic segmentation is hindered by two significant challenges: (1) the disparity in data scale, as segmentation datasets are typically much smaller than those used for VFM pre-training, and (2) domain distribution shifts, where real-world segmentation scenarios are diverse and often underrepresented during pre-training. To overcome these limitations, we present Rein++, an efficient VFM-based segmentation framework that demonstrates superior generalization from limited data and enables effective adaptation to diverse unlabeled scenarios. Specifically, Rein++ comprises a domain generalization solution Rein-G and a domain adaptation solution Rein-A. Rein-G introduces a set of trainable, instance-aware tokens that effectively refine the VFM's features for the segmentation task. This parameter-efficient approach fine-tunes less than 1% of the backbone's parameters, enabling robust generalization. Building on the Rein-G, Rein-A performs unsupervised domain adaptation at both the instance and logit levels to mitigate domain shifts. In addition, it incorporates a semantic transfer module that leverages the class-agnostic capabilities of the segment anything model to enhance boundary details in the target domain. The integrated Rein++ pipeline first learns a generalizable model on a source domain (e.g., daytime scenes) and subsequently adapts it to diverse target domains (e.g., nighttime scenes) without any target labels. Comprehensive experiments demonstrate that Rein++ significantly outperforms state-of-the-art methods with efficient training, underscoring its roles an efficient, generalizable, and adaptive segmentation solution for VFMs, even for large models with billions of parameters. The code is available at https://github.com/wloves/Rein.
• Abstract（参考訳）: ビジョンファウンデーションモデル(VFM)は、様々なコンピュータビジョンタスクにおいて顕著な成功を収めた。 しかし、セマンティックセグメンテーションへのそれらの応用は、(1) セグメンテーションデータセットが VFM 事前トレーニングで使用されるものよりも典型的にはるかに小さいため、データスケールの格差、(2) 実世界のセグメンテーションシナリオが多様であり、事前トレーニング中に過小評価されることの2つの大きな課題によって妨げられている。 これらの制限を克服するために,制限データからの優れた一般化を実証し,多様な未ラベルシナリオへの効果的な適応を可能にする,効率的なVFMベースのセグメンテーションフレームワークであるRein++を提案する。 具体的には、Rein++はドメイン一般化ソリューションRein-Gとドメイン適応ソリューションRein-Aとから構成される。 Rein-Gは、セグメンテーションタスクのVFM機能を効果的に洗練する、トレーニング可能なインスタンス対応トークンセットを導入している。 このパラメータ効率のアプローチは、バックボーンのパラメータの1%未満の微細構造であり、堅牢な一般化を可能にする。 Rein-G上に構築されたRein-Aは、インスタンスレベルとロジットレベルの両方で教師なしのドメイン適応を実行し、ドメインシフトを緩和する。 さらに、セグメンテーション・アズ・モデルのクラスに依存しない機能を活用して、ターゲットドメインの境界の詳細を強化するセグメンテーション・トランスファー・モジュールも組み込まれている。 統合されたRein++パイプラインは、まずソースドメイン(例えば、昼間のシーン)で一般化可能なモデルを学び、その後、ターゲットラベルなしで、さまざまなターゲットドメイン(例えば、夜間のシーン)に適応する。 総合的な実験により、Rein++は、数十億のパラメータを持つ大規模モデルであっても、その役割をVFMの効率的で汎用的で適応的なセグメンテーションソリューションとして評価することで、最先端の手法を大幅に上回っていることが示されている。 コードはhttps://github.com/wloves/Rein.comで入手できる。

関連論文リスト

• Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
  斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。 既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-11-06T11:03:02Z)
• Stronger, Fewer, & Superior: Harnessing Vision Foundation Models for Domain Generalized Semantic Segmentation [16.12797115277337]
  私たちはまず、ドメイン一般化セマンティック(DGSS)の文脈における様々なビジョン基礎モデル(VFM)を評価し、活用する。 DGSS にパラメータ効率よく VFM を利用するための頑健な微調整手法,すなわち Rein を導入する。 トレーニング可能なパラメータが少ないため、ReinはDGSSタスクのVFMを効率よく微調整し、完全なパラメータの微調整を驚くほど上回った。
  論文  参考訳（メタデータ） (2023-12-07T12:43:00Z)
• Frequency-mixed Single-source Domain Generalization for Medical Image Segmentation [29.566769388674473]
  医用画像セグメンテーションの欠如は、ディープラーニングモデルのための十分なトレーニングデータを集める上での課題となっている。 周波数混合単一ソース領域一般化法(FreeSDG)という新しい手法を提案する。 3つのモードの5つのデータセットに対する実験結果から,提案アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2023-07-18T06:44:45Z)
• HGFormer: Hierarchical Grouping Transformer for Domain Generalized Semantic Segmentation [113.6560373226501]
  本研究は領域一般化設定の下で意味的セグメンテーションを研究する。 本稿では,階層型グループ化変換器(HGFormer)を提案する。 実験により、HGFormerはピクセルごとの分類法やフラットグルーピング変換器よりも、より堅牢なセマンティックセグメンテーション結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-22T13:33:41Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Semi-supervised Meta-learning with Disentanglement for Domain-generalised Medical Image Segmentation [15.351113774542839]
  新たなセンター(ここではドメイン)からの新しいデータにモデルを一般化することは、依然として課題である。 本稿では,絡み合いを伴う半教師付きメタラーニングフレームワークを提案する。 提案手法は,異なるセグメンテーションタスクに対して頑健であり,2つの公開ベンチマーク上での最先端の一般化性能を実現する。
  論文  参考訳（メタデータ） (2021-06-24T19:50:07Z)
• RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening [40.98892593362837]
  ディープニューラルネットワークの未認識領域への一般化能力の強化は、自動運転のような現実世界における安全性クリティカルな応用に不可欠である。 本稿では,未知領域のセグメンテーションネットワークのロバスト性を改善するために,新しいインスタンス選択型ホワイトニング損失を提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:19:37Z)
• Towards Adaptive Semantic Segmentation by Progressive Feature Refinement [16.40758125170239]
  セグメンテーションネットワークの転送可能性を高めるために,ドメイン逆学習とともに,革新的なプログレッシブな特徴改善フレームワークを提案する。 その結果、ソース・ドメイン・イメージで訓練されたセグメンテーション・モデルは、大幅な性能劣化を伴わずにターゲット・ドメインに転送できる。
  論文  参考訳（メタデータ） (2020-09-30T04:17:48Z)
• Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation Method for Semantic Segmentation [97.8552697905657]
  このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。 本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。 GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
  論文  参考訳（メタデータ） (2020-04-02T03:25:05Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。