Fugu-MT 論文翻訳(概要): SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models

論文の概要: SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models

arxiv url: http://arxiv.org/abs/2605.17985v1
Date: Mon, 18 May 2026 07:40:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-19 17:57:49.001057
Title: SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models
Title（参考訳）: SAFE-SVD:物理基礎モデルのための感度を考慮した忠実度付きSVD
Authors: Chengjie Hong, Feixiang He, Yiheng Zeng, Lulu Kang, He Wang,
Abstract要約: 本稿では,AI科学の新しいトレンドである物理基礎モデル(PFM)の圧縮手法を提案する。実験では、複数のモデルやデータセットにまたがる既存の手法よりも大幅に向上し、精度を維持しながら圧縮率を大幅に向上する。
参考スコア（独自算出の注目度）: 8.53361303062229
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new method for compressing physics foundation models (PFMs) which is a new trend in AI for Science. While model compression is essential for reducing memory use and accelerating inference in large foundation models, it remains under-explored for PFMs, where preserving physical fidelity is crucial. The challenge lies in the functional nature of physics data, where partial derivatives encode spatiotemporal dynamics and exhibit high sensitivity to compression. Conventional compression methods ignore this structure, often causing severe performance degradation or failure. To address this, we introduce a sensitivity-aware fidelity-enforcing compression framework that explicitly models loss-aware layer sensitivity in the output function space during compression. This provides a new route to compressing scientific foundation models while preserving accuracy and physical fidelity. Experiments show substantial gains over existing methods across multiple models and datasets, achieving significantly higher compression ratios while maintaining accuracy, in some cases by orders of magnitude. More broadly, the work potentially leads to a new subfield of efficient, deployable, and sustainable scientific foundation models in AI for Science.
Abstract（参考訳）: 本稿では,AI for Scienceの新たなトレンドである物理基礎モデル(PFM)の圧縮手法を提案する。モデル圧縮は、大きな基礎モデルにおけるメモリ使用量の削減と推論の加速に不可欠であるが、物理忠実性の維持が不可欠であるPFMでは、まだ探索されていない。この課題は、部分微分が時空間力学を符号化し、圧縮に対する高い感度を示す物理データの機能的性質にある。従来の圧縮手法はこの構造を無視し、しばしば性能劣化や故障を引き起こす。そこで本稿では,圧縮中の出力関数空間における損失認識層感度を明示的にモデル化する,感度認識忠実度強調圧縮フレームワークを提案する。これは、正確さと物理的忠実さを維持しながら、科学基盤モデルを圧縮するための新しいルートを提供する。実験では、複数のモデルやデータセットにまたがる既存の手法よりも大幅に向上し、精度を維持しながら圧縮率を大幅に向上する。より広い範囲で見ると、この研究はAI for Scienceの効率的でデプロイ可能で持続可能な科学基盤モデルの新たなサブフィールドに繋がる可能性がある。

関連論文リスト

D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation [78.32916244416033]
Supervised Fine-Tuning (SFT) はタスク固有の大規模言語モデル (LLM) の開発を加速するが、細調整モデルの増加によってメモリオーバーヘッドが大幅に増大する。本稿ではDQRELO(Delta Compression via Quantization and Residual Low-Rank)を提案する。粗い1ビットの量子化を組み合わせ、デルタの支配的な構造を捉える。
論文参考訳（メタデータ） (2026-04-18T09:52:18Z)
Big2Small: A Unifying Neural Network Framework for Model Compression [14.509737343784913]
我々は,測度理論に基づくモデル圧縮のための統一的な数学的枠組みを構築した。各モデル圧縮手法は,正規化対象のニューラルネットワークと数学的に等価であることを示す。本研究では,インプリシトニューラルネットワーク表現(INR)をデータ領域からネットワークパラメータの領域に翻訳する,TextitBig2Smallと呼ばれる,実験的に検証されたデータフリーモデル圧縮フレームワークを提案する。
論文参考訳（メタデータ） (2026-03-31T14:09:19Z)
Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文参考訳（メタデータ） (2026-02-12T02:38:57Z)
PhysE-Inv: A Physics-Encoded Inverse Modeling approach for Arctic Snow Depth Prediction [0.16206783799607727]
本稿では,高度なシーケンシャルアーキテクチャ,マルチヘッドアテンションと物理誘導型コントラスト学習を備えたLSTMデコーダ,物理誘導型推論を統合した新しいフレームワークであるPhysE-Invを紹介する。 PhysE-Invは予測性能を大幅に改善し、エラーを20%削減すると同時に、経験的手法と比較して、データの分散性に優れた物理的一貫性とレジリエンスを示す。このアプローチは、地空間および低温領域で広く適用可能な、耐雑音性、解釈可能な逆モデリングのための経路を開拓する。
論文参考訳（メタデータ） (2026-01-23T00:43:51Z)
FunDiff: Diffusion Models over Function Spaces for Physics-Informed Generative Modeling [3.6766942024793496]
本稿では関数空間における生成モデリングのための新しいフレームワークであるFunDiffを紹介する。 FunDiffは遅延拡散プロセスと関数オートエンコーダアーキテクチャを組み合わせて入力関数を処理する。本研究では流体力学および固体力学におけるFunDiffの実効性を示す。
論文参考訳（メタデータ） (2025-06-09T16:19:59Z)
Shifting AI Efficiency From Model-Centric to Data-Centric Compression [67.45087283924732]
AI研究の焦点は、モデル中心の圧縮からデータ中心の圧縮へとシフトしている、と私たちは主張する。データ中心圧縮は、モデルトレーニングや推論中に処理されたデータのボリュームを直接圧縮することで、AI効率を向上させる。我々の研究は、AIの効率性に関する新たな視点を提供し、既存の取り組みを合成し、コンテキスト長の増大によって引き起こされる課題に対処するためにイノベーションを触媒することを目的としています。
論文参考訳（メタデータ） (2025-05-25T13:51:17Z)
Pathology Image Compression with Pre-trained Autoencoders [52.208181380986524]
デジタル病理学における全スライド画像は、記憶、伝達、計算効率の面で大きな課題をもたらす。 JPEGのような標準的な圧縮手法はファイルサイズを小さくするが、下流のタスクに不可欠な微細な表現型の詳細を保存できない。本研究では,遅延拡散モデル用に設計されたオートエンコーダ(AE)を,病理画像の効率的な学習圧縮フレームワークとして再利用する。
論文参考訳（メタデータ） (2025-03-14T17:01:17Z)
Foundation Model for Lossy Compression of Spatiotemporal Scientific Data [11.494915987840876]
損失のある科学的データ圧縮のための基礎モデル(FM)を提案する。可変オートエンコーダ(E)と超高次構造と超高分解能(SR)モジュールを組み合わせる。
論文参考訳（メタデータ） (2024-12-22T22:57:08Z)
A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たすモデル圧縮法は、Transformerのメモリと計算コストを削減する。この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文参考訳（メタデータ） (2024-02-05T12:16:28Z)
What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文参考訳（メタデータ） (2021-10-16T00:20:04Z)
Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。いくつかの汚職は圧縮法に大きく影響している。データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
論文参考訳（メタデータ） (2021-02-10T15:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。