論文の概要: Mixture of Physical Priors Adapter for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2412.02759v1
• Date: Tue, 03 Dec 2024 19:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:35.624288
• Title: Mixture of Physical Priors Adapter for Parameter-Efficient Fine-Tuning
• Title（参考訳）: パラメータ効率の良いファインチューニングのための物理プライオリティアダプタの混合
• Authors: Zhaozhi Wang, Conghu Li, Qixiang Ye, Tong Zhang,
• Abstract要約: 本稿では,ネットワークの重み付けを物理的に組み合わせてモデル化する手法を提案する。 熱拡散、波動伝播、ポアソンの定常方程式の3つの基礎方程式がそれぞれ固有のモデリング特性に寄与する。 MoPPAはPEFTの精度を最大2.1%向上させる。
• 参考スコア（独自算出の注目度）: 41.19870454097444
• License:
• Abstract: Most parameter-efficient fine-tuning (PEFT) methods rely on low-rank representations to adapt models. However, these approaches often oversimplify representations, particularly when the underlying data has high-rank or high-frequency components. This limitation hinders the model's ability to capture complex data interactions effectively. In this paper, we propose a novel approach that models network weights by leveraging a combination of physical priors, enabling more accurate approximations. We use three foundational equations -- heat diffusion, wave propagation, and Poisson's steady-state equation -- each contributing distinctive modeling properties: heat diffusion enforces local smoothness, wave propagation facilitates long-range interactions, and Poisson's equation captures global equilibrium. To combine these priors effectively, we introduce the Mixture of Physical Priors Adapter (MoPPA), using an efficient Discrete Cosine Transform (DCT) implementation. To dynamically balance these priors, a route regularization mechanism is designed to adaptively tune their contributions. MoPPA serves as a lightweight, plug-and-play module that seamlessly integrates into transformer architectures, with adaptable complexity depending on the local context. Specifically, using MAE pre-trained ViT-B, MoPPA improves PEFT accuracy by up to 2.1% on VTAB-1K image classification with a comparable number of trainable parameters, and advantages are further validated through experiments across various vision backbones, showcasing MoPPA's effectiveness and adaptability. The code will be made public available.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)手法の多くは、適応モデルに低ランク表現を頼っている。 しかしながら、これらのアプローチはしばしば表現を単純化し、特に基礎となるデータが高頻度または高頻度のコンポーネントを持つ場合である。 この制限は、複雑なデータインタラクションを効果的にキャプチャするモデルの能力を妨げます。 本稿では,ネットワークの重み付けを物理先行値の組み合わせを利用してモデル化し,より正確な近似を可能にする手法を提案する。 熱拡散は局所的な滑らかさを強制し、波動伝播は長距離相互作用を促進する、ポアソン方程式は大域平衡を捕捉する。 これらの先行情報を効果的に組み合わせるために、離散コサイン変換(DCT)を用いたMixture of Physical Priors Adapter(MoPPA)を導入する。 これらの前提を動的にバランスさせるため、ルート正則化機構は、それらの貢献を適応的に調整するように設計されている。 MoPPAは軽量なプラグイン・アンド・プレイモジュールとして機能し、ローカルコンテキストに応じて適応可能な複雑さを持つトランスフォーマーアーキテクチャにシームレスに統合される。 具体的には、MAE事前訓練されたViT-Bを用いて、VTAB-1K画像分類において、VTAB-1K画像分類において最大2.1%のPEFT精度が向上し、様々な視覚バックボーンを用いた実験により、MoPPAの有効性と適応性を示す。 コードは公開されます。

関連論文リスト

• Hyper Compressed Fine-Tuning of Large Foundation Models with Quantum Inspired Adapters [0.0]
  emphQuantum-Inspired Adaptersは、量子機械学習文学のハミング級量子回路にインスパイアされたPEFTアプローチである。 提案するアダプタは,ベンチマークデータセットに大規模言語モデルと大規模視覚変換器を適用して検証する。
  論文  参考訳（メタデータ） (2025-02-10T13:06:56Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
  相関に基づくステレオマッチングは優れた性能を達成した。 固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。 本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:47:37Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Residual Pathway Priors for Soft Equivariance Constraints [44.19582621065543]
  本稿では,厳密な制約をソフトな事前に変換する手法としてResidual Pathway Priors(RPP)を紹介する。 RPPは近似対称性や不特定対称性に耐性があり、対称性が正確であっても完全に制約されたモデルと同じくらい効果的である。
  論文  参考訳（メタデータ） (2021-12-02T16:18:17Z)
• A Variational Infinite Mixture for Probabilistic Inverse Dynamics Learning [34.90240171916858]
  確率的局所モデルの無限混合に対する効率的な変分ベイズ推論手法を開発した。 我々は、データ駆動適応、高速予測、不連続関数とヘテロセダスティックノイズに対処する能力の組み合わせにおけるモデルのパワーを強調した。 学習したモデルを用いてBarrett-WAMマニピュレータのオンライン動的制御を行い、軌道追跡性能を大幅に改善した。
  論文  参考訳（メタデータ） (2020-11-10T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。