論文の概要: ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2611.00236v1
• Date: Fri, 30 Oct 2026 18:18:00 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:20:40.630865
• Title: ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning
• Title（参考訳）: ProLand: LoRAファインチューニングのための新しい実用的マニフォールド最適化手法
• Abstract要約: 低ランク適応(LoRA)はパラメータ効率のよい微調整を可能にするが、冗長な基本方向を損なうことがある。 ProLand(Product-space Landing)は、調整された因子の更新とMuonスタイルのスペクトル方向を組み合わせる。 ProLandは、テストされたエンコーダとデコーダモデルランク設定毎に比較したメソッドの中で、最も高い平均スコアを達成している。
• 参考スコア（独自算出の注目度）: 20.433260846406768
• License:
• Abstract: Low-rank adaptation (LoRA) enables parameter-efficient fine-tuning but can suffer from redundant basis directions. Constraining the basis factor to the Stiefel manifold addresses this redundancy through orthonormality. Landing methods allow temporarily infeasible iterates to explore a neighborhood of the manifold while progressively restoring orthogonality without per-step retractions. To improve optimization efficiency while retaining this flexibility, we introduce ProLand (Product-space Landing), a retraction-free optimizer that combines coordinated factor updates with Muon-style spectral directions. By designing the updates in the space of the represented weight increment, ProLand separates objective optimization from orthogonality restoration, supporting efficient feasibility recovery. This coordinated construction also enables Muon-style directions to guide objective optimization while preserving that separation. Experiments cover four GLUE validation tasks on DeBERTa-v3-base and seven language benchmarks on Qwen2.5-3B, Llama-3.2-3B, and Moonlight-16B-A3B across multiple adapter ranks. Across these 11 tasks, ProLand achieves the highest average score among the compared methods in every tested encoder and decoder model-rank configuration.
• Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率の良い微調整を可能にするが、冗長な基本方向を損なうことがある。 基底因子をスティーフェル多様体に制限することは、正則性を通じてこの冗長性に対処する。 ランディング法は、一時的に不可能なイテレートが多様体の近傍を探索し、ステップ毎の引き抜きなしに徐々に直交性を回復することを可能にする。 この柔軟性を維持しつつ最適化効率を向上させるために,調整された因子更新とMuonスタイルのスペクトル方向を結合した引き込み不要な最適化器ProLand(Product-space Landing)を導入する。 ProLandは、代表重み付けの空間における更新を設計することにより、目的の最適化と直交復元を分離し、効率的な実現可能性回復をサポートする。 このコーディネート構成により、Muonスタイルの方向は、その分離を維持しながら客観的な最適化を導くことができる。 実験では、DeBERTa-v3ベースのGLUE検証タスクと、Qwen2.5-3B、Llama-3.2-3B、Moonlight-16B-A3Bの7つの言語ベンチマークをカバーしている。 これらの11タスク全体で、ProLandはテスト対象のエンコーダとデコーダモデルランク設定で比較対象のメソッドの平均スコアが最も高い。

関連論文リスト

• Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
  ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。 しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。 本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
  論文  参考訳（メタデータ） (2026-04-20T13:37:31Z)
• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
  Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。 フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
  論文  参考訳（メタデータ） (2026-04-01T15:40:20Z)
• DecoVLN: Decoupling Observation, Reasoning, and Correction for Vision-and-Language Navigation [49.233063630722334]
  長距離ナビゲーションにおけるロバストなストリーミング認識と閉ループ制御のためのフレームワークであるDecoVLNを提案する。 本稿では,統合されたスコアリング関数を反復的に最適化することにより,過去の候補プールからフレームを選択する適応的精錬機構を提案する。 また,コンプレックスエラーを軽減するために,状態-作用ペアレベルの補正手法を導入する。
  論文  参考訳（メタデータ） (2026-03-13T16:24:37Z)
• DRAFTO: Decoupled Reduced-space and Adaptive Feasibility-repair Trajectory Optimization for Robotic Manipulators [4.0407133618465005]
  本稿では、トラジェクトリ最適化のための新しいアルゴリズム、Decoupled Reduced-spaceとAdaptive Feasibility-Repair Trajectory Optimization (DRAFTO)を提案する。 連立限界実現性を扱いながら繰り返し制約された最適化の回数を減らすため、最適化を低空間ガウスニュートン(Gass-Newton, GN)降下に分離する。 CHOMP, TrajOpt, GPMP2, FACTOなどの最適化型プランナに対するベンチマークテストの結果, 様々なシナリオやタスクにおいて高い効率性と信頼性が検証された。
  論文  参考訳（メタデータ） (2026-03-10T20:24:42Z)
• Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization [13.97375970293678]
  DPO(Direct Preference Optimization)は、その単純さと訓練安定性から、オフライン優先最適化アルゴリズムとして広く使われている。 3つの重要なイノベーションを特徴とする新しいアライメントフレームワークであるLinear Preference Optimization (LPO)を提案する。 まず,対数シグモイド関数を絶対差分損失に置き換え,最適化力学を分離することで勾配デカップリングを導入する。 第2に、選択された応答品質を維持するために、オフセット制約と正の正則化項を組み合わせることで安定性を向上させる。 第3に、直感的な推定を伴う勾配分離と、その相対確率の降下を線形に制御する調整可能な係数を用いて、制御可能な拒絶抑制を実装した。
  論文  参考訳（メタデータ） (2025-08-20T10:17:29Z)
• Multi-start Optimization Method via Scalarization based on Target Point-based Tchebycheff Distance for Multi-objective Optimization [2.9248680865344348]
  多目的最適化(multi-jective optimization)は、競合する目的間のトレードオフのバランスをとるための、科学的および工業的応用において重要である。 NSGA-IIIやMOEA/Dのような最先端の手法は、多くの目的に対処できるが、カバレッジの問題には対処できない。 これらの課題に対処する新しいマルチスタート最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-05-01T02:27:25Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。