論文の概要: Multimodal Foundation Models Adaptation based on Domain-Aware Relaxed Orthogonal Subspace for Remote Sensing
- arxiv url: http://arxiv.org/abs/2609.13654v1
- Date: Sat, 12 Sep 2026 02:19:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.451929
- Title: Multimodal Foundation Models Adaptation based on Domain-Aware Relaxed Orthogonal Subspace for Remote Sensing
- Title（参考訳）: リモートセンシングのためのドメイン対応緩和直交部分空間に基づくマルチモーダルファンデーションモデル適応
- Abstract要約: Domain-Aware Relaxed Orthogonal Subspace adaptation (DROS)
DROSはデータ条件付きサブスペース学習と柔軟なサブスペース適応として低ランク適応を再構成する。
複数のリモートセンシングベンチマークの実験は、DROSが最先端のパフォーマンスを達成することを示す。
- 参考スコア（独自算出の注目度）: 16.45880716714667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained foundation models (FMs) have achieved remarkable success in computer vision, yet their high fine-tuning cost limits practical deployment. Parameter-efficient fine-tuning (PEFT) methods such as Low-Rank Adaptation (LoRA) improve efficiency by constraining updates to a predefined low-rank subspace. However, when applied to remote sensing tasks with substantial domain shifts, the fixed subspace is constructed without observing the downstream activation distribution and can therefore provide a poor coordinate system for adaptation, a phenomenon herein termed subspace mismatch. To address this issue, a unified framework is introduced, termed Domain-aware Relaxed Orthogonal Subspace adaptation (DROS), which reformulates low-rank adaptation as data-conditioned subspace learning and flexible subspace adaptation. Specifically, the weight decomposition is conditioned on second-order activation statistics estimated from the downstream training distribution, so that the initialization reflects the feature geometry actually induced by the remote-sensing data, followed by flexible geometric transformations enabled by a relaxed orthogonal parameterization. Furthermore, the framework is extended to multimodal settings (MM-DROS) by sharing transformation structures across modality-specific subspaces, facilitating efficient cross-modal interaction. Extensive experiments on multiple remote sensing benchmarks demonstrate that DROS achieves state-of-the-art performance, even surpassing full fine-tuning, without additional inference overhead.
- Abstract（参考訳）: 事前訓練された基礎モデル(FM)はコンピュータビジョンにおいて顕著な成功を収めたが、その高精細な調整コストは実用的な展開を制限している。
低ランク適応(LoRA)のようなパラメータ効率のよい微調整(PEFT)手法は、予め定義された低ランク部分空間への更新を制限することによって効率を向上する。
しかし、かなりの領域シフトを伴うリモートセンシングタスクに適用した場合、固定部分空間は下流の活性化分布を観測することなく構築され、従って適応のための座標系が貧弱になる(この現象はサブスペースミスマッチと呼ばれる)。
この問題を解決するために、データ条件付きサブスペース学習とフレキシブルなサブスペース適応として低ランク適応を再構成する、Domain-aware Relaxed Orthogonal Subspace adaptation (DROS)と呼ばれる統合フレームワークが導入された。
具体的には、下流トレーニング分布から推定される2次活性化統計に基づいて重量分解を条件とし、初期化はリモートセンシングデータによって実際に誘導される特徴幾何を反映し、その後、緩和直交パラメータ化によりフレキシブルな幾何変換を行う。
さらに、このフレームワークは、モダリティ固有の部分空間間で変換構造を共有することで、効率的な相互モーダル相互作用を促進することで、マルチモーダル設定(MM-DROS)に拡張される。
複数のリモートセンシングベンチマークに対する大規模な実験により、DROSは、追加の推論オーバーヘッドなしに、完全な微調整を越えながら、最先端のパフォーマンスを達成することが示された。
関連論文リスト
- FAN-LoRA: A Fourier-Adaptive Nonlinear Low-Rank Adaptor for Medical Foundation Model Domain Adaptation [11.04143971119602]
本稿では,周波数分離型ファインチューニングアーキテクチャであるFAN-LoRAを提案する。
FAN-LoRAは、最先端のPEFTベースラインを一貫して上回ることを示す。
提案手法は,最強の競合相手と比較して,平均Diceスコアにおける一貫した改善と境界誤差の顕著な低減を実現している。
論文 参考訳（メタデータ） (2026-08-27T02:08:57Z) - Prompt-Driven Simulation with Feature Perturbation for Cross-Domain Few-Shot Object Detection [8.13477193884434]
PSP-FSODは、プロンプト駆動型ドメインシミュレーションと機能摂動正規化を統合した、原則化されたフレームワークである。
PSP-FSODは高品質なドメイン多様性の監視を行い、ドメイン不変表現を学習する。
論文 参考訳（メタデータ） (2026-08-02T16:11:16Z) - Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation [54.74045834035952]
視覚言語データセット蒸留(VLDD)は、大きな画像テキストのペア化されたデータセットを小さな合成ペアに圧縮する。
階層幾何学と明示的なアライメント・キャパシティ制御を組み合わせたランク認識型双曲アライメント(RAHA)を提案する。
RAHAは、競争力のあるクロスモーダル検索と、固定予算下での転送インジケータの改善を示す。
論文 参考訳（メタデータ） (2026-06-28T15:41:31Z) - OmniLiDAR: A Unified Diffusion Framework for Multi-Domain 3D LiDAR Generation [100.36917520403227]
本稿では,8つの代表領域にまたがる共有範囲画像表現において,LiDARスキャンを生成する統一テキスト条件拡散フレームワークを提案する。
パブリックな統合ベンチマークがなければ、実世界のスキャンと物理ベース気象シミュレーションとシステマティックビームリダクションを組み合わせた8ドメインデータセットを構築する。
論文 参考訳（メタデータ） (2026-05-13T17:42:20Z) - Local adapt-then-combine algorithms for distributed nonsmooth optimization: Achieving provable communication acceleration [50.67878993903822]
通信効率のよいAdapt-Then-Combine (ATC) フレームワークであるFlexATCを提案する。
ローカル更新がATCベースの分散アルゴリズムの通信高速化につながることを示すのはこれが初めてである。
論文 参考訳（メタデータ） (2026-02-18T02:47:05Z) - Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification [3.6907522136316975]
CMS Re-ID(Cross-Modality Ship Re-Identification)は、全天候の海上目標追跡を実現するために重要である。
モダリティギャップのブリッジ化におけるビジョン・ファンデーション・モデル(VFM)の可能性を探る。
ドメイン表現注入(Domain Representation Injection, DRI)と呼ばれる新しいPEFT戦略を提案する。
論文 参考訳（メタデータ） (2025-12-24T02:30:23Z) - Simulating Distribution Dynamics: Liquid Temporal Feature Evolution for Single-Domain Generalized Object Detection [58.25418970608328]
Single-Domain Generalized Object Detection (Single-DGOD)は、あるソースドメインで訓練された検出器を複数の未知のドメインに転送することを目的としている。
シングルDGODの既存の方法は通常、データの多様性を拡大するために離散的なデータ拡張や静的摂動法に依存している。
そこで本研究では,ソース領域から潜伏分布のシミュレーションに至るまでの機能の進化をシミュレートする手法を提案する。
論文 参考訳（メタデータ） (2025-11-13T03:10:39Z) - Feature-Space Planes Searcher: A Universal Domain Adaptation Framework for Interpretability and Computational Efficiency [7.889121135601528]
現在の教師なし領域適応法は微調整特徴抽出器に依存している。
領域適応フレームワークとしてFPS(Feature-space Planes Searcher)を提案する。
FPSは最先端の手法と比較して,競争力や性能に優れることを示す。
論文 参考訳（メタデータ） (2025-08-26T05:39:21Z) - Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。
提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。
トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
論文 参考訳（メタデータ） (2025-07-28T11:52:56Z) - Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
微調整された大規模な基礎モデルは、計算コストを禁ずる。
微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。
本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
論文 参考訳（メタデータ） (2025-05-29T05:03:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。