論文の概要: AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.19767v1
• Date: Tue, 19 May 2026 12:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.331197
• Title: AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning
• Title（参考訳）: AR1-ZO:高ランクLoRAファインチューニングのためのトポロジー対応ランク1ゼロオーダークエリ
• Authors: Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu,
• Abstract要約: 本稿では,このボトルネックが外部部分空間の必要性というよりも,測定トポロジの問題であることを示す。 AR1-ZOペアは、階数不変のアクティブシグナルを復元する、トポロジ対応のスケール$=r$と1$の原子クエリを交互に行う。 OPTモデルとQwen3モデルの実験により、信号機構が検証され、AR1-ZOが高ランクのLoRAを効果的にすることを示す。
• 参考スコア（独自算出の注目度）: 17.98348342954707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order (ZO) optimization enables large-language-model fine-tuning without storing backpropagation activations, while LoRA supplies compact trainable adapters. Combining them creates a rank paradox: increasing LoRA rank improves adapter capacity, but standard two-point ZO either perturbs a rank-dependent number of coordinates or, under atomwise updates, can make the finite-difference signal unobservable. This paper shows that the bottleneck is a measurement-topology problem rather than a need for an external subspace. LoRA already decomposes into matched rank-$1$ atoms, each a complete factor-coordinate block of dimension $d_\text{out}+d_\text{in}$. Querying one atom per step keeps the stored adapter rank $r$ while removing $r$ from the single-query perturbation dimension. The naive atomwise query is still miscalibrated: if it inherits canonical LoRA scaling $α/r$, the active finite-difference signal shrinks as $1/r$ and the active finite-difference signal-to-noise ratio (FD-SNR) as $1/r^2$, producing directional collapse under a fixed residual evaluation-noise floor. AR1-ZO pairs alternating rank-$1$ atom queries with topology-aware scaling $γ=αr$, restoring rank-invariant active signal without auxiliary bases, activation hooks, curvature estimates, or extra forward queries. Theory proves atom minimality, rank-independent active query dimension, directional collapse and restoration, and the remaining rank dependence as an amortized coverage cost. Experiments on OPT and Qwen3 models validate the signal mechanism and show that AR1-ZO makes high-rank LoRA effective among matched-budget ZO methods under the standard two-forward-pass query budget.
• Abstract（参考訳）: Zeroth-order (ZO) 最適化により、バックプロパゲーションアクティベーションを格納することなく、大規模言語モデルの微調整が可能になる。 LoRAランクの増大はアダプタの容量を向上するが、標準の2点ZOはランク依存の座標数を摂動するか、原子的に更新された場合、有限差信号は観測不能となる。 本稿では,このボトルネックが外部部分空間の必要性というよりも,測定トポロジの問題であることを示す。 LoRA は既に一致するランクの 1$ の原子に分解されており、それぞれが次元 $d_\text{out}+d_\text{in}$ の完全因子座標ブロックである。 ステップ毎に1つのアトムをクエリすることで、ストアドアダプタのランクは$r$を維持し、シングルクエリの摂動次元から$r$を削除します。 活性有限差分信号は1/r$、活性有限差分信号-雑音比(FD-SNR)は1/r^2$と小さくなり、固定残差評価階下で方向崩壊する。 AR1-ZOペアは、トポロジを意識した1$の原子クエリと、$γ=αr$、補助ベース、アクティベーションフック、曲率推定、余分なフォワードクエリとを交互に行う。 理論は原子の最小性、ランク非依存のアクティブクエリ次元、方向性の崩壊と回復、そして残りのランク依存を償却されたカバレッジコストとして証明している。 OPT と Qwen3 モデルを用いた実験により, 標準の 2-forward-pass クエリ予算下での整合型 ZO 法において, AR1-ZO が高次 LoRA を効果的に実現することを示す。

関連論文リスト

• AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation [1.9996763865817948]
  低ランク適応(LoRA)は2つの低ランク要因の積として重み更新をモデル化する。 AdaPreLoRAは、$W$にAdaeckerプリコンディショナー$H_t$を採用し、その結果のファクタ空間ソリューションファミリから選択することで、このギャップを埋める。
  論文  参考訳（メタデータ） (2026-05-09T06:37:44Z)
• Rethinking the Rank Threshold for LoRA Fine-Tuning [4.221888521641282]
  ニューラルタンジェントカーネル機構におけるLoRAファインチューニングの最近のランドスケープ解析では、二乗誤差損失下での急激な局所最小値の欠如に対して、LoRAランクの$r(r+1)/2 > KN$が十分条件$r(r+1)/2 となる。 この状態において、所定のランクを$r = 1$に下げる3つの結果を与える。
  論文  参考訳（メタデータ） (2026-05-05T13:09:46Z)
• Evolutionary Negative Module Pruning for Better LoRA Merging [46.397675691417675]
  複数のLow-Rank Adaptation専門家を単一のバックボーンにマージすることは、効率的なマルチタスクデプロイメントのための有望なアプローチである。 既存の手法は、ウェイトやサブスペースアライメントによる干渉を緩和しようとする。 そこで本研究では,これらのモジュールをマージ前に検出・排除する,プラグアンドプレイのLoRAプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-20T03:13:18Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• SQL-ASTRA: Alleviating Sparse Feedback in Agentic SQL via Column-Set Matching and Trajectory Aggregation [51.696027315573296]
  本稿では,効率的な軌道レベル評価と高密度ステップレベル信号の提供を目的とした,普遍的な2層報酬機構を特徴とするフレームワークを提案する。 伝統的なパラダイムでは、報酬は最終ターンのフィードバックによってのみ決定され、中間プロセスを無視し、曖昧な信用評価をもたらす。 提案手法は,同一モデルを用いてBIRD 2.0上でのSOTA Arctic-Text2-R1-7Bより優れており,頑健なマルチターンエージェントのパラダイムに向けてテキストから逆収束を推進していることを示す。
  論文  参考訳（メタデータ） (2026-03-17T06:26:36Z)
• Subspace Geometry Governs Catastrophic Forgetting in Low-Rank Adaptation [0.0]
  Low-Rank Adaptation (LoRA) は、大規模な事前学習モデルに適応するためのパラメータ効率の高いアプローチとして登場した。 勾配部分空間相互作用のレンズを通して,LoRAにおける破滅的忘れを特徴付ける幾何学的理論を提案する。
  論文  参考訳（メタデータ） (2026-02-10T22:45:47Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models [10.827800772359844]
  微粒化複雑性理論を用いた変圧器モデルにおけるローランド適応(LoRA)の計算限界について検討する。 我々のキーとなる観察は、LoRA適応の勾配計算における低ランク分解の存在がアルゴリズムの高速化につながることである。
  論文  参考訳（メタデータ） (2024-06-05T10:44:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。