論文の概要: Resource-Aware Parameter-Efficient Model Adaptation for Onboard High-Dimensional Data

• arxiv url: http://arxiv.org/abs/2609.33687v1
• Date: Sun, 27 Sep 2026 15:49:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:42:31.711236
• Title: Resource-Aware Parameter-Efficient Model Adaptation for Onboard High-Dimensional Data
• Title（参考訳）: オンボード高次元データに対するリソース・アウェアパラメータ・効率的なモデル適応
• Abstract要約: 本稿では,帯域幅制約付きハイパースペクトルモデル更新のためのパラメータ効率適応フレームワークNE-LoRAを提案する。 NE-LoRAはLoRAベースのベースラインより一貫して優れており、いくつかのケースではフル微調整よりも優れています。
• 参考スコア（独自算出の注目度）: 15.836355115399025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Onboard satellite models often require frequent updates, but the weights adapted to earlier data distributions can quickly become outdated. However, updating large-scale model parameters in orbit presents significant challenges due to the limited uplink bandwidth of Low Earth Orbit (LEO) satellite systems, particularly for hyperspectral satellite imagery, where high-dimensional spectral-spatial inputs lead to increased model size and update costs. Existing full fine-tuning methods are thus expensive to retrain and difficult to deploy under strict communication constraints. To address this challenge, we propose NE-LoRA, a parameter-efficient adaptation framework for bandwidth-constrained onboard hyperspectral model updates. NE-LoRA combines a primary low-rank branch with a nonlinear auxiliary branch to capture both global update trends and complex spectral-spatial variations. Additionally, we introduce a differentiated training strategy for multi-matrix adapters, motivated by the asymmetric initialization and gradient dynamics of different adapter matrices. Experiments on four hyperspectral datasets and three representative backbone models demonstrate that NE-LoRA consistently outperforms LoRA-based baselines and remains competitive with, and in several cases superior to, full fine-tuning. Across the evaluated settings, NE-LoRA updates only a small fraction of the total parameters on average while preserving low deployment overhead, offering a favorable accuracy-communication trade-off for onboard hyperspectral adaptation.
• Abstract（参考訳）: 衛星モデルは頻繁な更新を必要とすることが多いが、以前のデータ分布に適応した重みはすぐに時代遅れになる可能性がある。 しかし、軌道上の大規模なモデルパラメータの更新は、低軌道(LEO)衛星システムのアップリンク帯域が限られているため、特に高次元のスペクトル空間入力によってモデルのサイズが増加し、更新コストが増加するため、大きな課題となる。 したがって、既存のファインチューニング手法は再訓練が高価であり、厳密な通信制約下での展開が困難である。 この課題に対処するために、帯域幅制約付きハイパースペクトルモデル更新のためのパラメータ効率適応フレームワークNE-LoRAを提案する。 NE-LoRAは、一次低ランク分岐と非線形補助分岐を組み合わせることで、大域的な更新トレンドと複雑なスペクトル-空間変動の両方をキャプチャする。 さらに、異なるアダプタ行列の非対称初期化と勾配ダイナミクスによって動機付けられたマルチマトリックスアダプタの異なるトレーニング戦略を導入する。 4つの超スペクトルデータセットと3つの代表的なバックボーンモデルの実験により、NE-LoRAはロラベースベースラインを一貫して上回り、いくつかの場合においてフル微調整よりも優れていることが示されている。 評価された設定全体にわたって、NE-LoRAは、配置オーバーヘッドを低く保ちながら、平均的なパラメータのごく一部しか更新しない。

関連論文リスト

• Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
  大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。 我々はGated Delta Networkのスケーリングルールを導出する。 言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
  論文  参考訳（メタデータ） (2026-06-02T08:45:24Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
  我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。 様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T07:01:50Z)
• LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation [48.22550575107633]
  新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)は、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする。 本実験は,テキスト・ツー・イメージ生成におけるLoRA-Xの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-27T23:02:24Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Low-Rank Adaption on Transformer-based Oriented Object Detector for Satellite Onboard Processing of Remote Sensing Images [5.234109158596138]
  衛星搭載時の深層学習モデルは、リモートセンシング画像のリアルタイム解釈を可能にする。 本稿では,ローランク適応 (LoRA) モジュールを用いたパラメータ効率の高い微調整技術を提案する。 モデル全体のパラメータの12.4$%だけを微調整し、更新することで、完全な微調整モデルの性能の97$%から100$%までを達成できる。
  論文  参考訳（メタデータ） (2024-06-04T15:00:49Z)
• ST-LoRA: Low-rank Adaptation for Spatio-Temporal Forecasting [13.595533573828734]
  モデルと呼ばれる既存の時間的予測モデルに対する低ランク適応フレームワークを提案する。 具体的には、ノード適応型低ランク層とノード固有予測器を導入し、ノードの複雑な機能特性を捉える。 本手法は,計算オーバーヘッドが最小限である様々な予測モデルに対して,常に優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-04-11T17:04:55Z)
• Training Neural Networks from Scratch with Parallel Low-Rank Adapters [46.764982726136054]
  計算ノード間の複数の低ランクヘッドの並列トレーニングを実現するために設計された,新しい双方向最適化アルゴリズムである LoRA-the-Explorer (LTE) を導入する。 我々のアプローチには、様々なビジョンデータセットを用いたビジョントランスフォーマーの広範な実験が含まれており、LTEが標準の事前トレーニングと競合していることが示されている。
  論文  参考訳（メタデータ） (2024-02-26T18:55:13Z)
• FullLoRA: Efficiently Boosting the Robustness of Pretrained Vision Transformers [72.83770102062141]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。