論文の概要: Bilinear Optimization Divergence: Diagnosing Factor-Constrained LoRA Continual Learning

• arxiv url: http://arxiv.org/abs/2609.23594v1
• Date: Sun, 20 Sep 2026 12:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.866385
• Title: Bilinear Optimization Divergence: Diagnosing Factor-Constrained LoRA Continual Learning
• Title（参考訳）: Bilinear Optimization Divergence: 因子制約付きLoRA連続学習の診断
• Abstract要約: 本稿では,選択した歴史的特徴に対する有効更新応答のアンカー相対的診断を定式化する。 共用アダプタにおいて、ルーティング変位を保護すると、変化した共役因子を介して学習アンカー残余が残る。 新たなゼロ出力ブロックでは、実行可能なルーティング状態が、両方の現在の要因がトレーニング可能である間、構成された更新を保護することができる。
• 参考スコア（独自算出の注目度）: 9.210432526729507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Orthogonality in a LoRA factor does not by itself specify what the composed update protects: the answer depends on the task-start state, the parameterization, and the realized optimizer displacement. We formalize this question through Bilinear Optimization Divergence (BOD), an anchor-relative diagnostic of effective-update response on selected historical features. The finite-step analysis distinguishes two cases. In a shared adapter, protecting the routing displacement leaves a learned-anchor residual through the changing companion factor. In a fresh zero-output block, a feasible routing state can protect the composed update while both current factors remain trainable. These conditions yield Semi-Frozen Orthogonal Routing (SFOR) for shared adapters and current-block hard protection for cumulative O-LoRA; Weight Residual Projection (WRP) enforces the required displacement after the optimizer step. Controlled two-task traces verify the predicted residual paths, reducing normalized historical response from 19.12% to 0.005% in the shared family and from 7.72% to 0.002% in the cumulative family. Four-task experiments on Qwen3-8B characterize the resulting trade-offs: SFOR improves backward transfer (BWT) from -2.47 to -0.86 with nearly unchanged average accuracy (AA), while O-LoRA hard protection improves three-order mean AA from 80.27% to 81.30% and forgetting measure (FM) from 2.20 to 0.43. Component controls also show that stricter feasibility need not improve final task performance. Together, the analysis and evidence provide an architecture-conditioned account of which constraint to enforce, how to enforce it, and how to interpret its empirical value.
• Abstract（参考訳）: LoRA因子の直交性は、構成された更新が何を保護しているかをそれ自体は規定していない: 答えはタスク開始状態、パラメータ化、そして実現されたオプティマイザの変位に依存する。 本稿では,選択した歴史的特徴に対する有効更新応答のアンカー相対的診断であるbilinear Optimization Divergence (BOD) を用いて,この問題を定式化する。 有限ステップ解析は2つのケースを区別する。 共用アダプタにおいて、ルーティング変位を保護すると、変化した共役因子を介して学習アンカー残余が残る。 新たなゼロ出力ブロックでは、両方の現在の要因がトレーニング可能である間、実行可能なルーティング状態が構成された更新を保護することができる。 これらの条件は、共有アダプタのためのセミフランジン直交ルーティング(SFOR)と累積O-LoRAに対する電流ブロックハードプロテクション(英語版)をもたらす。 制御された2タスクのトレースは、予測された残留経路を検証し、正規化された歴史的な応答は共有された家族では19.12%から0.005%に減少し、累積的な家族では7.72%から0.002%に減少する。 SFORは2.47から0.86への後方移動(BWT)をほぼ一定平均精度(AA)で改善し、O-LoRAのハードプロテクションは3次平均AAを80.27%から81.30%に改善し、2.20から0.43まで忘れる測定(FM)を改善した。 コンポーネントコントロールはまた、より厳格な実現性は最終タスクのパフォーマンスを改善する必要はないことを示している。 分析と証拠は、どの制約を強制するか、どのように強制するか、そしてその経験的価値をどう解釈するかをアーキテクチャが規定した説明を提供する。

関連論文リスト

• RecGPT-Mobile-V2 Technical Report [22.10290138930905]
  RecGPT-Mobile-V2は、意図的品質と実行効率をステージド設計の目的として扱うエンドツーエンドフレームワークである。 このフレームワークは異種間相互作用をエビデンス保存軌道に変換し、ドメイン適応と教師付きアライメントを通じてレコメンデーションネイティブ基盤を確立する。 オンライン検索分析では、クエリリコールチャネルは、確立されたリコールチャネルによってサーフェスされたインベントリに補完されるインベントリを検索することを示している。
  論文  参考訳（メタデータ） (2026-08-25T09:23:17Z)
• PhaseLoRA: Control-Regime-Conditioned Low-Rank Adaptation for Continuous-Action Vision-Language-Action Policies [74.07190331264488]
  本稿では,アクションチャンク予測ステップ毎に条件適応を行う軽量なLoRAパラメータ化を提案する。 PhaseLoRAはアクションエキスパートのLoRA左ファクタを変調し、有効な低ランク更新方向を時間とともに変更する。 その結果、連続的なVLAポリシーのための効果的な軽量PEFT軸として、軌道内コンディショニングが確立された。
  論文  参考訳（メタデータ） (2026-08-15T15:32:08Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
  DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。 インジェクション帯域ではなく、適応的な停止が正確さを駆動する。 インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
  論文  参考訳（メタデータ） (2026-05-05T19:24:10Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• Scalable Multi-Task Low-Rank Model Adaptation [43.22544779625565]
  マルチタスク低ランク適応(LoRA)を多数のタスクに拡張すると、破滅的なパフォーマンス劣化を引き起こす。 規則化や動的ルーティングのような既存のソリューションは、基本的なトレードオフによって制約されるため、スケールで失敗するのです。 3つの新しい設計を持つスケーラブルなソリューションであるmtLoRAを提案する。
  論文  参考訳（メタデータ） (2026-03-02T06:57:11Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2 [0.0]
  我々は,MAW誘導幅の刈り取りが選択フィルタとして機能し,行動アライメントを保ちつつパラメトリック知識を減少させることを示す。 プルーニングされた構成は、エネルギー消費(J/Token)を最大で23%削減するが、単一要求レイテンシで罰則が生じる。
  論文  参考訳（メタデータ） (2025-12-27T18:09:57Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。