論文の概要: DARN: Dynamic Adaptive Regularization Networks for Efficient and Robust Foundation Model Adaptation

• arxiv url: http://arxiv.org/abs/2511.04766v1
• Date: Thu, 06 Nov 2025 19:36:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.570351
• Title: DARN: Dynamic Adaptive Regularization Networks for Efficient and Robust Foundation Model Adaptation
• Title（参考訳）: DARN: 効率的なロバスト基礎モデル適応のための動的適応正規化ネットワーク
• Authors: Dhenenjay Yadav, Rohan Sawai,
• Abstract要約: 動的適応正規化ネットワーク(DARN)を導入する。 DARNは、サンプルごとの難易度を推定する軽量タスク複雑度予測器(TCP)、適応ドロップアウト変調(ADM)、動的キャパシティゲーティング(DCG)の3つの重要なイノベーションを統合している。 完全な微調整(非凍結バックボーン)において、DARN はマルチタスク GeoBench ベンチマーク (86.66% mIoU, +5.56 pp over earlier SOTA) で新しい最先端を達成する。 効率的な適応(凍結バックボーン)において、DARNはSen上でSOTA競合精度(90.5% mIoU)を達成する
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models (FMs) offer powerful representations for geospatial analysis, but adapting them effectively remains challenging. Standard adaptation methods, whether full fine-tuning or efficient frozen-backbone approaches, typically employ decoders with fixed regularization strategies, failing to account for the significant heterogeneity in satellite imagery. We introduce Dynamic Adaptive Regularization Networks (DARN), a novel decoder architecture designed to address this limitation. DARN integrates three key innovations: (1) a lightweight Task Complexity Predictor (TCP) that estimates per-sample difficulty, (2) Adaptive Dropout Modulation (ADM), dynamically adjusting dropout rates (from 0.1 to 0.5) based on predicted complexity, and (3) Dynamic Capacity Gating (DCG) that modulates channel activation. We provide theoretical justifications linking DARN's optimization to stationary point convergence and its mechanism to adaptive information bottlenecks. Empirically, DARN demonstrates exceptional performance across both major adaptation paradigms. In full fine-tuning (unfrozen backbone), DARN achieves a new state-of-the-art on the multi-task GeoBench benchmark (86.66% mIoU, +5.56 pp over prior SOTA). In efficient adaptation (frozen backbone), DARN achieves SOTA-competitive accuracy (90.5% mIoU on Sen1Floods11) while delivering substantial advantages crucial for real-world deployment: superior out-of-distribution (OOD) generalization (+9.5 pp mIoU on AI4SmallFarms), enhanced robustness (17% relative reduction in corruption error), and improved performance on minority classes. DARN offers a more intelligent, robust, and efficient approach to leveraging FMs in critical geospatial applications.
• Abstract（参考訳）: 基礎モデル(FM)は地理空間解析のための強力な表現を提供するが、効果的に適応することは困難である。 完全な微調整でも効率的な冷凍バックボーンアプローチであっても、標準的な適応手法では、通常、固定された正規化戦略を持つデコーダを使用し、衛星画像のかなりの不均一性を考慮しない。 この制限に対処するために設計された新しいデコーダアーキテクチャである動的適応正規化ネットワーク(DARN)を導入する。 DARNは,(1)サンプルごとの難易度を推定する軽量タスク複雑度予測器(TCP),(2)適応ドロップアウト変調(ADM),(3)チャネルアクティベーションを変調する動的キャパシティゲーティング(DCG)の3つの重要なイノベーションを統合する。 DARNの最適化を定常点収束にリンクする理論的正当性とその適応情報ボトルネックへの機構について述べる。 DARNは、両方の主要な適応パラダイムにまたがる例外的なパフォーマンスを実証している。 完全な微調整(非凍結バックボーン)において、DARN はマルチタスク GeoBench ベンチマーク (86.66% mIoU, +5.56 pp over earlier SOTA) で新しい最先端を達成する。 効率的な適応(冷凍バックボーン)において、DARNはSOTA競合精度(Sen1Floods11では90.5% mIoU)を達成し、現実世界の展開において極めて重要な利点を生んでいる:優れたアウト・オブ・ディストリビューション(OOD)一般化(AI4SmallFarmsでは+9.5 pp mIoU)、堅牢性の改善(17%の汚職エラー)、マイノリティクラスのパフォーマンス向上。 DARNは、重要な地理空間アプリケーションでFMを活用するための、よりインテリジェントで堅牢で効率的なアプローチを提供する。

関連論文リスト

• DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
  重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。 そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
  論文  参考訳（メタデータ） (2025-10-05T19:27:48Z)
• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• NM-Hebb: Coupling Local Hebbian Plasticity with Metric Learning for More Accurate and Interpretable CNNs [0.0]
  NM-Hebbは神経刺激による局所的可塑性と遠隔監視を統合している。 フェーズ1は、クロスエントロピーの目標を共同で最適化することで、標準的な教師付きトレーニングを拡張します。 フェーズ2は、一対のメートル法学習損失でバックボーンを微調整する。
  論文  参考訳（メタデータ） (2025-08-27T13:53:04Z)
• GRAM-MAMBA: Holistic Feature Alignment for Wireless Perception with Adaptive Low-Rank Compensation [8.217823995127201]
  スマートホーム、インテリジェントトランスポート、産業自動化、ヘルスケアに広くデプロイされている、IoT(Internet of Things)の認識には、マルチモーダル融合が不可欠である。 既存のシステムは、しばしば課題に直面している。高モデル複雑さは、リソースに制約のある環境へのデプロイを妨げる。 本稿では,センサ時系列の効率的な処理に線形複雑マンバモデルを用いるGRAM-MAMBAと,モーダル間のペアアライメントを最適化したGRAM行列戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-18T10:30:37Z)
• Accelerating Chain-of-Thought Reasoning: When Goal-Gradient Importance Meets Dynamic Skipping [3.521097198612099]
  Adaptive GoGI-Skipは、教師付き微調整によって動的CoT圧縮を学ぶ新しいフレームワークである。 CoTトークンの数を平均で45%以上削減し、1.6～2.0倍の推論スピードアップを実現している。 特に、高い効率の圧縮速度でも精度を保ち、既存のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-05-13T09:39:18Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications [54.610318402371185]
  Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。 我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。 過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T01:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。