論文の概要: MTL-FNO: A Lightweight Multi-Task Fourier Neural Operator for Sparse Field Reconstruction
- arxiv url: http://arxiv.org/abs/2605.26718v1
- Date: Tue, 26 May 2026 08:57:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.771255
- Title: MTL-FNO: A Lightweight Multi-Task Fourier Neural Operator for Sparse Field Reconstruction
- Title（参考訳）: MTL-FNO:スパースフィールド再構成のための軽量マルチタスクフーリエニューラル演算子
- Authors: Siyu Ye, Shihang Li, Zhiqiang Gong, Benrong Zhang, Weien Zhou, Yiyong Huang, Wen Yao,
- Abstract要約: マルチタスクフーリエニューラルオペレータ(MTL-FNO)は、ハードパラメータ共有に基づくエンドツーエンドのジョイントトレーニングフレームワークである。
MTL-FNOは標準FNOに匹敵する精度を達成し、全体のモデルサイズを76%と60%削減した。
その結果,MTL-FNOは標準FNOに匹敵する精度を達成し,総モデルサイズを76%,FNOを60%削減した。
- 参考スコア（独自算出の注目度）: 15.401658861451809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient onboard multi-field sparse reconstruction is essential for the autonomous operation of aerospace vehicles. While existing deep learning models exhibit promise for single-field reconstruction, deploying multiple independent models leads to prohibitive model size growth and fails to exploit cross-field correlations, particularly under few-shot conditions. To address these challenges, we first propose a lightweight multi-task Fourier neural operator (MTL-FNO), an end-to-end joint training framework based on hard parameter sharing. In each layer, the parameters are divided into shared and task-specific components to capture common features across fields while preserving task-specific characteristics. Moreover, the task-specific fine-tuning parameters are implemented as low-rank terms, achieving substantial model compression. Second, to address the difficulty of co-optimizing shared and task-specific parameters along with their real and imaginary parts, we revisit the FNO's spectral weight from a polar-form perspective and devise a physically meaningful decoupled optimization scheme. Specifically, we apply polar decomposition to slice-wise disentangle the spectral weight into a unitary tensor encoding phase information and a positive semi-definite tensor characterizing amplitude. By decoupling the optimization of phase and amplitude, our method can effectively mitigate tasks conflict. Meanwhile, to preserve unitary geometric fidelity during training, the Cayley transform is introduced to reparameterize the unitary tensor, converting the constrained optimization problem to an unconstrained one. Finally, the effectiveness of the proposed method under few-shot conditions is validated on two representative engineering cases. Results show that MTL-FNO achieves accuracy comparable to or even surpassing that of standard FNO, while reducing total model size by 76% and 60%, respectively.
- Abstract（参考訳）: 航空車両の自律運転には,高効率なマルチフィールドスパース再構築が不可欠である。
既存のディープラーニングモデルは単一フィールドの再構築を約束するが、複数の独立したモデルをデプロイすることは、モデルサイズの成長を禁止し、特に数ショット条件下では、フィールド間の相関を活用できない。
これらの課題に対処するために、まず、ハードパラメータ共有に基づくエンドツーエンドのジョイントトレーニングフレームワークである軽量マルチタスクフーリエニューラル演算子(MTL-FNO)を提案する。
各レイヤでは、パラメータを共有コンポーネントとタスク固有のコンポーネントに分割して、タスク固有の特性を保持しながら、フィールド間で共通の特徴をキャプチャする。
さらに、タスク固有の微調整パラメータを低ランク項として実装し、実質的なモデル圧縮を実現する。
第2に,FNOのスペクトル重みを極性の観点から再検討し,物理的に有意な疎結合最適化手法を考案する。
具体的には、偏極分解を用いてスペクトル重みを1次テンソル符号化位相情報と正の半定値テンソル特性振幅に分解する。
位相と振幅の最適化を分離することにより,タスクの衝突を効果的に軽減することができる。
一方、トレーニング中のユニタリ幾何学的忠実性を維持するために、ケイリー変換を導入してユニタリテンソルを再パラメータ化し、制約付き最適化問題を非制約のテンソルに変換する。
最後に,本手法の有効性を2つの代表的な工学的事例で検証した。
その結果,MTL-FNOは標準FNOに匹敵する精度を達成し,総モデルサイズを76%,FNOを60%削減した。
関連論文リスト
- New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。
PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。
ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-04-10T22:39:38Z) - FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models [15.447455377430634]
FourierMoEは、異なる周波数帯域の専門家にトークンをディスパッチする周波数適応ルータである。
シングルタスクとマルチタスクの両方で、競争ベースラインを一貫して上回る。
その結果,LLM微調整のための有効かつパラメータ効率の高いパラダイムとして,スペクトル領域の専門家適応が期待できることが明らかになった。
論文 参考訳（メタデータ） (2026-04-02T08:30:06Z) - Variational Entropic Optimal Transport [67.76725267984578]
本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。
VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。
合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
論文 参考訳（メタデータ） (2026-02-02T15:48:44Z) - High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文 参考訳（メタデータ） (2026-01-12T13:06:17Z) - GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers [12.475144734899674]
我々は,選択したレイヤのD次元トークン表現をKDグループに分割する軽量PEFTフレームワークGRASPを紹介し,各グループに対して共有スケーリングおよびシフトベクトルを学習する。
決定論的値ではなく,事前学習した重みに対する摂動としてガウス分布を学習するStochGRASPを提案する。
様々なノイズレベルの下で、StochGRASPは決定論的変異を一貫して上回り、エネルギー効率とノイズを発生させるハードウェアプラットフォームに適していることを示した。
論文 参考訳（メタデータ） (2025-12-03T22:17:05Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance [13.636389424786854]
各タスクのコアパラメータは、統一されたバックボーンに移植される。
異なるタスクの非コアパラメータは、Spherical Linear Interpolationを通じてスムーズに統合される。
複数の公開ベンチマークの実験は、我々のアプローチがタスクの干渉や忘れを著しく軽減していることを示している。
論文 参考訳（メタデータ） (2025-08-29T16:07:33Z) - You Only Train Once [11.97836331714694]
You Only Train Once (YOTO)は、損失選択と重み付けの後者の側面において、トレーニングを1ショットに制限することに貢献する。
複数の経験的損失を同時に最適化するために広く用いられている複合損失定式化の微分可能性を活用する。
YOTOは、未確認テストデータにおいて、最高のグリッド検索モデルよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-06-04T18:04:58Z) - Taming Flow Matching with Unbalanced Optimal Transport into Fast Pansharpening [10.23957420290553]
本稿では,一段階の高品位パンシャーピングを実現するための最適輸送フローマッチングフレームワークを提案する。
OTFMフレームワークは、パンシャーピング制約の厳格な遵守を維持しつつ、シミュレーション不要なトレーニングとシングルステップ推論を可能にする。
論文 参考訳（メタデータ） (2025-03-19T08:10:49Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-29T20:18:52Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳（メタデータ） (2021-03-07T00:15:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。