論文の概要: PHLoRA: data-free Post-hoc Low-Rank Adapter extraction from full-rank checkpoint

• arxiv url: http://arxiv.org/abs/2509.10971v1
• Date: Sat, 13 Sep 2025 20:13:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.860529
• Title: PHLoRA: data-free Post-hoc Low-Rank Adapter extraction from full-rank checkpoint
• Title（参考訳）: PHLoRA:フルランクチェックポイントからのデータフリーポストホットローランドアダプタ抽出
• Authors: Bhoomit Vasani, Jack FitzGerald, Anjie Fang, Sushmit Vaish,
• Abstract要約: 我々は、フルランク微調整モデルから低ランク適応アダプタを抽出する簡易かつ強力なPHLoRAを提案する。 アダプタを明示的に訓練する以前の作業とは異なり、我々のアプローチはアダプタ生成から微調整を分離する。 Amazon Novaモデルファミリを用いたテキスト、画像、ビデオのベンチマーク実験では、抽出されたアダプタは、フルウェイトデルタから高エネルギーを保ち、安全に刈り取ることができ、再マージ時に下流タスクのパフォーマンスが無視できる劣化をもたらすことが示されている。
• 参考スコア（独自算出の注目度）: 3.5840378192062956
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce PHLoRA (Pronounced "flora"). (Post-hoc LoRA), a simple yet powerful method to extract low-rank adaptation adapters from full-rank fine-tuned models without requiring access to training data or gradients. By computing the low-rank decomposition of weight differences between a base model and its fine-tuned counterpart, our method reconstructs adapter modules that can be merged or dynamically routed at inference time via S-LoRA, or served in scalable, industry settings using platforms like NVIDIA NIM. This approach amortizes latency overhead across requests and yields substantial cost savings. Unlike prior work that trains each adapter explicitly, our approach decouples fine-tuning from adapter generation, allowing adapter extraction from existing full-rank models or third-party checkpoints. Experiments on text, image, and video benchmarks using the Amazon Nova model family demonstrate that extracted adapters preserve high energy from the full weight delta, can be pruned safely, and yield negligible degradation in downstream task performance when re-merged. Overall, PHLoRA provides a practical path for making all existing full-rank checkpoints adapter-ready, democratizing scalable inference for all models.
• Abstract（参考訳）: PHLoRA(Pronounceed "flora")を紹介する。 (ポストホック)LoRAは、訓練データや勾配へのアクセスを必要とせず、フルランクの微調整モデルから低ランク適応アダプタを抽出する簡易かつ強力な手法である。 提案手法は,ベースモデルと微調整モデル間の重量差の低ランク分解を計算することにより,S-LoRAを介して推論時にマージあるいは動的にルーティング可能なアダプタモジュールを再構築し,NVIDIA NIMなどのプラットフォームを使用したスケーラブルな産業環境下で機能する。 このアプローチはリクエスト間の遅延オーバーヘッドを減らし、大幅なコスト削減をもたらす。 アダプタを明示的に訓練する以前の作業とは異なり、我々のアプローチはアダプタ生成から微調整を分離し、既存のフルランクモデルやサードパーティのチェックポイントからアダプタを抽出することを可能にする。 Amazon Novaモデルファミリを用いたテキスト、画像、ビデオのベンチマーク実験では、抽出されたアダプタは、フルウェイトデルタから高エネルギーを保ち、安全に刈り取ることができ、再マージ時に下流タスクのパフォーマンスが無視できる劣化をもたらすことが示されている。 PHLoRAは、すべてのモデルに対してスケーラブルな推論を民主化して、既存のフルランクチェックポイントをアダプタ対応にするための実践的なパスを提供する。

関連論文リスト

• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• Come Together, But Not Right Now: A Progressive Strategy to Boost Low-Rank Adaptation [21.137278840000366]
  低ランク適応(LoRA)は,大規模基盤モデルに適応するためのパラメータ効率の高い微調整手法として登場している。 微調整の過程でアダプタのアクティベーション確率を徐々に高めるプログレッシブトレーニング戦略であるCoToプルーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-06T03:33:06Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Towards Optimal Adapter Placement for Efficient Transfer Learning [73.1149084352343]
  PETLは、トレーニング済みモデルを新しい下流タスクに適用し、微調整されたパラメータの数を最小化することを目的としている。 PETLの一般的なアプローチであるアダプタは、低ランクのプロジェクションを組み込むことで、既存のネットワークにさらなる容量を注入する。 本稿では,アダプタの配置と性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-21T10:37:17Z)
• Low-Rank Adaptation Secretly Imitates Differentially Private SGD [5.359060261460183]
  理論的には、低ランク適応はノイズの多いバッチ勾配を持つ微調整アダプタと等価である。 また、入射雑音の分散を適応ランクの減少関数として定量化する。 低ランク適応は、微調整データに対して、メンバシップ推論攻撃に対して堅牢性を提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。