論文の概要: AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery

• arxiv url: http://arxiv.org/abs/2605.10741v1
• Date: Mon, 11 May 2026 15:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.950757
• Title: AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery
• Title（参考訳）: AdaPaD: 自己修正ランク発見によるPEFTの適応並列デフレ
• Authors: Barbara Su, Fangshuo Liao, Anastasios Kyrillidis,
• Abstract要約: 本稿では,AdaPaD(Adaptive Parallel Deflation)について述べる。 我々は、各成分の誤差がウォームアップ期間後に指数関数的に崩壊することを証明する。 AdaPaDは、GLUE上の適応ランクのLoRAベースラインとDeBERTaV3ベースとの整合パラメータ予算で競合する。
• 参考スコア（独自算出の注目度）: 10.176501817419371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models with LoRA requires choosing a rank r before training starts. Existing approaches either extract rank-1 components sequentially, freezing each component's error permanently into every subsequent residual, or optimize the full low-rank factorization jointly with guarantees that describe only the joint update, not individual rank-1 directions. We present AdaPaD (Adaptive Parallel Deflation), which trains all rank-1 components simultaneously: each worker refines its component against a deflation target built from the latest estimates of all predecessors, and as those estimates improve, the targets improve too. We call this property self-correction: deflation errors converge to zero over rounds rather than persisting as fixed residuals. On top of this backbone, AdaPaD adds advance learning (private pre-training before activation) and per-module dynamic rank discovery (importance-based growth until a shared budget is exhausted), making the rank distribution an output rather than an input. We prove that every component's error decays exponentially after a warm-up period, with a generalization bound that splits into a vanishing algorithmic term and an irreducible statistical floor. Empirically, AdaPaD is competitive with adaptive-rank LoRA baselines on GLUE with DeBERTaV3-base at matched parameter budgets, and competitive with fixed-rank LoRA on Qwen3-0.6B SQuAD/SQuAD v2 while deploying an adapter that is on average 30.7% smaller.
• Abstract（参考訳）: LoRAで微調整された大きな言語モデルは、トレーニングを開始する前にランクrを選択する必要がある。 既存のアプローチでは、ランク1のコンポーネントを逐次抽出し、各コンポーネントのエラーをその後の残余のすべてに永久に凍結するか、または、個々のランク1方向ではなく、共同更新のみを記述する保証と合わせて完全なローランクの分解を最適化する。 我々は、AdaPaD(Adaptive Parallel Deflation)という、すべてのランク1コンポーネントを同時にトレーニングする。各ワーカーは、すべての前任者の最新の見積から構築されたデフレターゲットに対して、そのコンポーネントを洗練し、それらの見積もりが改善するにつれて、ターゲットも改善される。 我々はこの性質を自己補正(self-correction)と呼び、デフレ誤差は固定残差として持続するのではなく、ゼロオーバーラウンドに収束する。 このバックボーンに加えて、AdaPaDは、事前学習(アクティベーション前のプライベートトレーニング)とモジュールごとの動的ランク発見(共有予算がなくなるまで重要ベースの成長)を追加し、ランク分布を入力ではなく出力にする。 各成分の誤差はウォームアップ期間後に指数関数的に減衰し、一般化は消滅するアルゴリズム項と既約統計フロアに分割される。 実証的には、AdaPaDはGLUE上の適応ランクのLoRAベースラインと一致したパラメータ予算でDeBERTaV3ベースと競合し、Qwen3-0.6B SQuAD/SQuAD v2上の固定ランクのLoRAと競合する。

関連論文リスト

• UniRank: Unified List-wise Reranking via Confidence-Ordered Denoising [33.296591996616975]
  リストの並べ替えは、リクエスト固有の候補項目のプールを、ユーザの満足度を最大化する順序付きスレートに配置する。 提案するUniRankは、ARとNARのリランカを特殊ケースとして復元する、リスト単位のリグレードフレームワークである。 Amazon Books、MovieLens-1M、および工業用ショートビデオデータセットの実験は、UniRankが一貫して最先端のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-11T13:12:23Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• A Self-Attentive Meta-Optimizer with Group-Adaptive Learning Rates and Weight Decay [0.42970700836450487]
  本稿では,グループごとの学習率と重み劣化を動的に変調する自己認識機構を統合する新しい変調法を提案する。 注意モジュールのトレーニングには,勾配アライメント,損失減少,ギャップを組み合わせたメタ学習手法を導入する。 重要な新しい貢献は、正則化項を直接スケールするタスク固有の優先順位を持つホモスセダスティック不確実性重み付け(HUW)の拡張である。
  論文  参考訳（メタデータ） (2026-04-10T02:56:01Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• CAIRO: Decoupling Order from Scale in Regression [13.755937210012883]
  回帰を2つの異なる段階に分離する枠組みを提案する。 第1段階では,スケール不変ランキングの損失を最小限に抑えることで,スコアリング関数を学習する。 第2に,等速回帰による目標スケールの復元を行う。
  論文  参考訳（メタデータ） (2026-02-16T03:50:05Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。 この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。