論文の概要: Frozen Factor or Spectral Band? Disentangling Two Choices in Low-Rank LoRA

• arxiv url: http://arxiv.org/abs/2610.06621v1
• Date: Mon, 05 Oct 2026 16:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 00:11:14.739185
• Title: Frozen Factor or Spectral Band? Disentangling Two Choices in Low-Rank LoRA
• Title（参考訳）: 凍結因子かスペクトルバンドか?ローランドロラにおける2つの選択を異にする
• Abstract要約: 低ランク適応(LoRA)のスペクトル変種は、部分空間と凍結する因子の両方を選択する。 予め訓練した重みの上下特異方向の入力因子Aまたは出力因子Bを凍結することにより、これらの選択を分離する。 Freezing B はタスクと OpenBookQA にまたがる5つのペアに対して 8-18 % の予算自由な LoRA を追い越している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Spectral variants of low-rank adaptation (LoRA) choose both a subspace and which factor to freeze. We separate these choices by freezing the input factor A or output factor B on the top or bottom singular directions of pretrained weights, with learning rates selected separately. At rank 2, the same-band advantage of freezing A is larger than either within-factor band difference on all four task-model pairs with complete comparisons. Freezing B also trails comparable-budget free LoRA by 8-18 percentage points on five pairs spanning a formatting task and OpenBookQA. The A-frozen advantage persists in a single-GPU-model replication and within individual MLP module groups, including controls with equal or greater trainable counts for B frozen, and when A is frozen on a random orthonormal basis. The factor contrast weakens with rank. On OpenBookQA / Qwen2.5-1.5B at rank 16, PEFT's MiCA implementation trails comparable-budget LoRA by 3.08 points under a shared training recipe transferred from the MiCA paper. A trained oracle output subspace largely removes the low-rank deficit; partial warm-up gains recur across three direction seeds. The factor-versus-band ordering is descriptive; an approximate multiplicity audit weakens several earlier significance claims. These results extend known factor asymmetry by showing how its magnitude depends on spectral placement, rank and training conditions.
• Abstract（参考訳）: 低ランク適応(LoRA)のスペクトル変種は、部分空間と凍結する因子の両方を選択する。 これらの選択は、事前訓練した重みの上下特異方向の入力因子Aまたは出力因子Bを、個別に選択した学習率で凍結することにより分離する。 ランク2において、凍結Aの同バンド優位性は、4つのタスクモデル対のいずれかの要素内バンド差よりも大きく、完全な比較が可能である。 Freezing Bはまた、フォーマットタスクとOpenBookQAにまたがる5つのペアで8-18パーセントの予算の無料LoRAを追い越している。 Aフリーズ・アドバンテージは、単一GPUモデル複製と個別のMLPモジュール群に持続し、BフリーズとAがランダムに正規化されている場合、等しくトレーニング可能な数の制御を含む。 コントラストは階級によって弱まる。 OpenBookQA / Qwen2.5-1.5Bのランク16では、PEFTのMiCA実装は、MiCAペーパーから移行した共有トレーニングレシピの下で、同じ予算のLoRAを3.08ポイント追従する。 訓練されたオラクル出力サブスペースは、低ランクの欠陥を取り除き、部分的なウォームアップゲインは3つの方向の種子に再帰する。 因子対バンド順序付けは記述的であり、近似多重度監査はいくつかの以前の重要な主張を弱める。 これらの結果は、その大きさがスペクトル配置、ランク、および訓練条件にどのように依存するかを示すことによって、既知の因子非対称性を拡張する。

関連論文リスト

• Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents? [2.488251122211714]
  グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。 本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。 片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
  論文  参考訳（メタデータ） (2026-09-21T05:55:08Z)
• SCOPE-OPSD: Fisher-Conditioned Privileged Subspaces for On-Policy Self-Distillation [22.56867206175605]
  SCOPE-OPSDは、特権教師の残余を冷凍ランク64因子に投影する。 OPSDがすでに必要としているフォワードを再利用し、ロールアウトも推論時モジュールも追加しない。 Qwen3-1.7B、4B、8Bの完全な25/50/75/100ステップの軌道は、Structuredは純粋なOPSD以下ではない。
  論文  参考訳（メタデータ） (2026-09-11T08:33:52Z)
• Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
  クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。 本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:38:45Z)
• Spectral Tail Interventions in Decoder-Only Language Models: Reasoning-Sensitive Weight Structure from Controlled Surgery [5.894992157122175]
  制御介入によるデコーダのみの変圧器におけるスペクトルの集中化について検討した。 ポイントワイズクエリーキー(QK$)の製品テールターゲットを定義し、独立因子手術と製品ターゲット因子化を比較した。 ホルム補正後、18対のコントラストは重要なままであり、2対は方向性だが決定的ではない。
  論文  参考訳（メタデータ） (2026-08-09T10:53:35Z)
• Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection [0.0]
  Low-Rank Adaptation (LoRA) は、大規模な事前訓練モデルを微調整するための標準的なメカニズムとなっている。 ロラ階数 r をどうやって選ぶかという問題には正式な答えがない。 ランクr LoRA に対する経験的リスク最小化器の過大なリスクに対する O(rd/n) の上限を証明した。
  論文  参考訳（メタデータ） (2026-07-30T04:56:27Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。