論文の概要: Beyond Rotations: AuroOFT for Expressive Quantized Orthogonal Fine-Tuning
- arxiv url: http://arxiv.org/abs/2608.05253v1
- Date: Wed, 05 Aug 2026 16:05:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.651693
- Title: Beyond Rotations: AuroOFT for Expressive Quantized Orthogonal Fine-Tuning
- Title（参考訳）: Beyond Rotations: AuroOFT for Expressive Quantized Orthogonal Fine-Tuning
- Abstract要約: AuroOFTは、qoftを安定な量子化互換分岐として保持し、各適応線形層にゼロスタートゲートの低ランク非線形残差を付加する。
AuroOFT は活性化を RMS 正規化されたコンパクト潜在空間にマッピングし、有界あるいはトークン依存のゲーティングを持つ適応非線形基底を使用する。
- 参考スコア（独自算出の注目度）: 8.005472569222384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantized orthogonal fine-tuning (qoft) enables parameter-efficient adaptation of low-bit language models by learning structured activation rotations before frozen quantized weights. However, its task-specific updates remain constrained to linear orthogonal transformations, limiting input-dependent nonlinear corrections. We introduce AuroOFT, which keeps qoft as a stable quantization-compatible branch while attaching a zero-start gated low-rank nonlinear residual to each adapted linear layer. AuroOFT maps activations into an RMS-normalized compact latent space and uses adaptive nonlinear bases with bounded or token-dependent gating. The zero-initialized up projection makes AuroOFT functionally identical to qoft at initialization, while orthogonality remains a branch-level stability property rather than a property of the combined nonlinear layer. Under matched data, optimization, decoding, and parser protocols, AuroOFT improves Macro-6 over matched qoft by 1.30-2.70% on the 1.5B/3B Qwen2.5 settings, exceeds QLoRA by 6.52-10.62%, and saves 32.3-44.7% trainable parameters relative to QLoRA in representative scales. The small exam-style multiple-choice math set is treated only as a protocol-sensitivity diagnostic. Our code is available at the anonymous repository: https://anonymous.4open.science/r/AuroOFT-F3FD.
- Abstract（参考訳）: 量子化された直交微調整(qoft)は、凍結された量子化された重みの前に構造化された活性化回転を学習することにより、低ビット言語モデルのパラメータ効率の適応を可能にする。
しかし、タスク固有の更新は線形直交変換に制約され、入力依存の非線形補正が制限される。
AuroOFTを導入し、qoftを安定な量子化互換分岐とし、各適応線形層にゼロスタートゲートの低ランク非線形残差を付加する。
AuroOFT は活性化を RMS 正規化されたコンパクト潜在空間にマッピングし、有界あるいはトークン依存のゲーティングを持つ適応非線形基底を使用する。
ゼロ初期化アッププロジェクションは、AuroOFT を初期化時に qoft と機能的に同一にするが、直交性は結合された非線形層の性質よりも分岐レベル安定性特性である。
マッチしたデータ、最適化、デコード、パーサプロトコルの下で、AuroOFTは1.5B/3B Qwen2.5設定でマッチしたqoftよりも1.30-2.70%、QLoRAより6.52-10.62%、QLoRAと比較して32.3-44.7%のトレーニング可能なパラメータを節約した。
小さな試験スタイルの多重選択数学セットは、プロトコル感受性の診断としてのみ扱われる。
我々のコードは匿名リポジトリで入手できる。 https://anonymous.4open.science/r/AuroOFT-F3FD。
関連論文リスト
- Floquet Fibre Geometry and Higher-Order Reduced Coordinates for Off-Manifold Transients near Nonlinear Aeroelastic Flutter [0.0]
縮小座標を誘引極限サイクルに近い状態に割り当てるには、正しい不変ファイバー幾何学が必要であることを示す。
非線形のエアロ弾性限界サイクルでは、計量正規度と強安定度は48.5度から71.7度に異なる。
次に, 線形化が随伴フロッケチャートに固定され, 対称性が正確で, 流れの減少が固定された高次補正を学習した。
論文 参考訳（メタデータ） (2026-09-13T17:16:50Z) - Operational Regimes in Non-Convex Optimization: A Multiplier-Based Taxonomy [1.1907026010541673]
本稿では,KKT定常点におけるラグランジュ乗算器の符号に基づく制約付き非制約最適化のための構造的分類法を提案する。
ベクトルのない4つの形は、この二重空間を非制約、リソース制限、飽和、強い結合、ハイブリッドの5つの運用体制に分割する。
論文 参考訳（メタデータ） (2026-08-31T23:22:05Z) - Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
3次変換器は、極端なメモリと計算効率を提供する。
既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。
3次重みの離散的な更新を表す3次乗法適応を提案する。
論文 参考訳（メタデータ） (2026-08-25T12:15:56Z) - Beyond Full-Model Rollback: AuroSFT for Adapter-State Multi-Task Fine-Tuning [8.926273301432037]
AuroSFTは、オーバーフィット対応マルチタスクSFTをコンパクトでマージ可能なアダプタ状態として再キャストする。
AuroSFTの平均精度は61.36%で、対応するmsft参照行は59.85%である。
論文 参考訳（メタデータ） (2026-08-05T15:57:43Z) - SparseKAN: Compressing Kolmogorov--Arnold Networks Across Basis Functions, Neurons, and Bits [6.860988566886594]
基本関数,ニューロン/チャネル,数値精度の3つの相補的軸に沿ってkanを圧縮する統一的アプローチである textbfSparseKAN を提案する。
SparseKANは、基本分岐、非線形基底分岐、および個別基底項に、異なるアクティブコストの目的の下で訓練された階層的な学習可能なゲートを装備する。
論文 参考訳（メタデータ） (2026-08-01T20:42:41Z) - Continuous Neural Reparameterization as a Deep Geometric Prior for Robust Fixed-Chart UV Repair [0.0]
固定チャートUVアンラッピングを連続神経リパラメトリゼーションとして再放送した。
Laplace--Beltramiスペクトル入力、Tutte残留ウォームアップ、$C2$行列拡張、妥当性チェックされた再試行/フォールバックルーティングを組み合わせる。
コンパクトプリカットチャートと47チャートの層状化Thingi10K/xatlas-cutベンチマークでは、ニューラルソルバはすべてのコンパクトチャート上でゼロフリップを生成し、42/47の有効なゼロフリップ層状解を生成する。
論文 参考訳（メタデータ） (2026-06-08T18:26:03Z) - Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。
VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。
合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
論文 参考訳（メタデータ） (2026-01-30T03:59:38Z) - Voronoi-Assisted Diffusion for Computing Unsigned Distance Fields from Unoriented Points [59.493891955043914]
Voronoi-Assisted Diffusion (VAD) は、Unsigned Distance Fields (UDF) を計算するための軽量でネットワークフリーな方法である。
VADは水密面と開面を強く扱い、複雑な非多様体と非配向幾何学も扱う。
論文 参考訳（メタデータ） (2025-10-14T13:49:53Z) - CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning [24.697865155104644]
CLOVER(Cross-Layer Orthogonal Vectors)は、注目層を低ランク分解の集合として扱う新しいアプローチである。
我々は、GPT-2 XL、DeepSeek-V2-Lite、Whisper-Large-v3、Stable Diffusion XL、LLaMA-3.2-11B-Visionなど、様々なモデルに適用する。
論文 参考訳（メタデータ） (2024-11-26T13:34:02Z) - Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。
本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文 参考訳（メタデータ） (2024-10-01T06:34:58Z) - Relative Pose from SIFT Features [50.81749304115036]
基本行列の未知元と向きとスケールに関する新しい線形制約を導出する。
提案した制約は、合成環境における多くの問題と、80000以上の画像ペア上で公開されている実世界のデータセットでテストされる。
論文 参考訳（メタデータ） (2022-03-15T14:16:39Z) - Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める
近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。
両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
論文 参考訳（メタデータ） (2020-03-30T08:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。