論文の概要: Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

• arxiv url: http://arxiv.org/abs/2604.11841v1
• Date: Sun, 12 Apr 2026 14:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.020034
• Title: Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions
• Title（参考訳）: 多項式展開ランク適応:高次相互作用による低ランクファインチューニングの強化
• Authors: Wenhao Zhang, Lin Mu, Li Ni, Peiquan Jin, Yiwen Zhang,
• Abstract要約: PEA(Polynomial Expansion Rank Adaptation)は,低ランク因子空間に直接構造展開を導入する新しい手法である。 PERAは適応空間を階数や推論コストを増大させることなくよりリッチな非線形結合をモデル化できる多様体に変換する。 PERAは様々なベンチマークで常に最先端のメソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 18.104093028453264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is a widely used strategy for efficient fine-tuning of large language models (LLMs), but its strictly linear structure fundamentally limits expressive capacity. The bilinear formulation of weight updates captures only first-order dependencies between low-rank factors, restricting the modeling of nonlinear and higher-order parameter interactions. In this paper, we propose Polynomial Expansion Rank Adaptation (PERA), a novel method that introduces structured polynomial expansion directly into the low-rank factor space. By expanding each low-rank factor to synthesize high-order interaction terms before composition, PERA transforms the adaptation space into a polynomial manifold capable of modeling richer nonlinear coupling without increasing rank or inference cost. We provide theoretical analysis demonstrating that PERA offers enhanced expressive capacity and more effective feature utilization compare to existing linear adaptation approaches. Empirically, PERA consistently outperforms state-of-the-art methods across diverse benchmarks. Notably, our experiments show that incorporating high-order nonlinear components particularly square terms is crucial for enhancing expressive capacity and maintaining strong and robust performance under various rank settings. Our code is available at https://github.com/zhangwenhao6/PERA
• Abstract（参考訳）: 低ランク適応(LoRA)は、大規模言語モデル(LLM)の効率的な微調整戦略として広く使われているが、その厳密な線形構造は基本的に表現能力を制限する。 重み更新の双線型定式化は、低ランク因子間の一階依存性のみをキャプチャし、非線形および高階パラメータ相互作用のモデリングを制限する。 本稿では,低階係数空間に直接多項式展開を導入する新しい手法である,多項式展開ランク適応(PERA)を提案する。 PERAは、各低ランク因子を拡張して、合成前の高階相互作用項を合成することにより、階数や推論コストを増大させることなく、よりリッチな非線形結合をモデル化可能な多項式多様体に適応空間を変換する。 PERAは,既存の線形適応手法と比較して,表現能力の向上と機能利用の効率化を実証する理論解析を行った。 PERAは様々なベンチマークで常に最先端のメソッドよりも優れています。 特に,高次非線形成分を特に2乗項に組み込むことは,表現能力の向上と,様々なランク設定下での強靭かつ堅牢な性能維持に不可欠であることを示す。 私たちのコードはhttps://github.com/zhangwenhao6/PERAで利用可能です。

関連論文リスト

• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flexora: Flexible Low Rank Adaptation for Large Language Models [25.856463540829125]
  大規模言語モデル(LLM)は、モデルパラメータのスケールを拡大することで、人工知能の進歩を推進している。 特定の下流タスクにおけるそれらのパフォーマンスは、通常これらのタスクの知識境界によって妨げられる。 本稿では,フレキシブルな低ランク適応法 (Flexora) を提案する。
  論文  参考訳（メタデータ） (2024-08-20T12:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。