論文の概要: FlexLoRA: Entropy-Guided Flexible Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2601.22905v1
• Date: Fri, 30 Jan 2026 12:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.436574
• Title: FlexLoRA: Entropy-Guided Flexible Low-Rank Adaptation
• Title（参考訳）: FlexLoRA: エントロピーガイドによるフレキシブルな低ランク適応
• Authors: Muqing Liu, Chongjie Si, Yuheng Jia,
• Abstract要約: 大規模な事前学習モデルは様々な領域で顕著な成功を収めるが、完全な微調整は計算とメモリのコストを禁ずる。 我々は,世界予算下でのランクプルーニングと拡張をサポートするエントロピー誘導型フレキシブルローランク適応フレームワークFlexLoRAを提案する。 実験によると、FlexLoRAはベンチマーク全体で、最先端のベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 33.208889745659825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained models achieve remarkable success across diverse domains, yet fully fine-tuning incurs prohibitive computational and memory costs. Parameter-efficient fine-tuning (PEFT) has thus become a mainstream paradigm. Among them, Low-Rank Adaptation (LoRA) introduces trainable low-rank matrices and shows strong performance, nevertheless, its fixed-rank design limits flexibility. Dynamic rank allocation methods mitigate this issue by pruning redundant directions; however, they often rely on heuristic, element-level metrics that globally sort rank directions without matrix-wise distinction, and they lack mechanisms to expand capacity in layers requiring additional adaptation. To overcome these limitations, we propose FlexLoRA, an entropy-guided flexible low-rank adaptation framework that (i) evaluates matrix importance via spectral energy entropy, (ii) supports rank pruning and expansion under a global budget, and (iii) employs zero-impact initialization for newly added singular directions to ensure stability. By addressing granularity, flexibility, and stability limitations, FlexLoRA provides a more principled solution for PEFT. Extensive experiments show that FlexLoRA consistently outperforms state-of-the-art baselines across benchmarks. Codes are available at https://github.com/Chongjie-Si/Subspace-Tuning.
• Abstract（参考訳）: 大規模な事前学習モデルは様々な領域で顕著な成功を収めるが、完全な微調整は計算とメモリのコストを禁ずる。 そのため、パラメータ効率のよい微調整(PEFT)が主流となっている。 その中でもローランク適応(LoRA)はトレーニング可能な低ランク行列を導入し、高い性能を示すが、固定ランクの設計は柔軟性を制限している。 ダイナミックなランク割り当て手法は、冗長な方向を抽出することでこの問題を軽減するが、それらはしばしば、行列的な区別なしに世界規模でランクの方向をソートするヒューリスティックな要素レベルのメトリクスに依存しており、追加の適応を必要とする層でキャパシティを拡大するメカニズムが欠如している。 このような制限を克服するために,エントロピー誘導型フレキシブルな低ランク適応フレームワークであるFlexLoRAを提案する。 i)スペクトルエネルギーエントロピーにより行列の重要性を評価する。 (二)グローバル予算の下での位階の刈り上げ及び拡大を支援し、 (iii) 安定性を確保するため、新たに追加された特異方向に対してゼロインパクト初期化を用いる。 粒度、柔軟性、安定性の制限に対処することで、FlexLoRAはPEFTに対してより原則化されたソリューションを提供します。 大規模な実験によると、FlexLoRAはベンチマーク全体で、最先端のベースラインを一貫して上回っている。 コードはhttps://github.com/Chongjie-Si/Subspace-Tuning.comで公開されている。

関連論文リスト

• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
  FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。 多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-31T10:27:08Z)
• Flexora: Flexible Low Rank Adaptation for Large Language Models [25.856463540829125]
  大規模言語モデル(LLM)は、モデルパラメータのスケールを拡大することで、人工知能の進歩を推進している。 特定の下流タスクにおけるそれらのパフォーマンスは、通常これらのタスクの知識境界によって妨げられる。 本稿では,フレキシブルな低ランク適応法 (Flexora) を提案する。
  論文  参考訳（メタデータ） (2024-08-20T12:13:04Z)
• Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application [49.66088514485446]
  ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。 モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T12:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。