論文の概要: Signs Beat Floats: Low-Rank Double-Binary Adaptation for On-Device Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.24058v1
• Date: Fri, 22 May 2026 02:37:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.565807
• Title: Signs Beat Floats: Low-Rank Double-Binary Adaptation for On-Device Fine-Tuning
• Title（参考訳）: Floatsに勝るサイン: デバイス上のファインチューニングのための低ランクのダブルバイナリーアダプタ
• Authors: Yoshihiko Fujisawa, Yuma Ichikawa, Yudai Fujimoto, Akira Sakai, Katsuki Fujisawa,
• Abstract要約: LoRDBAはLoRA互換のアダプタで、ローランクな要素とバイナリなシグネチャキャリアの両方を置き換える。 有限サンプル解析により、復元品質は元のLoRA因子の残差とマグニチュード比によって制御されていることが示された。
• 参考スコア（独自算出の注目度）: 5.790458475928127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device adaptation of large language models commonly keeps a quantized base model frozen while training and deploying a small, task-specific LoRA adapter. In the unmerged adapter-mode setting, however, the adapter is more than a compact storage module; it introduces an additional dense floating-point branch, maintains a trainable state for local updates, and acts as a unit of communication and hot-swapping.We introduce LoRDBA, a LoRA-compatible adapter that replaces both low-rank factors with binary sign carriers while representing magnitudes through lightweight, channel-wise scales, converting the dense adapter branch into two sign-accumulation matrix multiplications interleaved with channel-wise scaling. A finite-sample analysis shows that reconstruction quality is governed by the residual-to-magnitude ratio of the original LoRA factors. In adapter-mode experiments, LoRDBA outperforms low-bit baselines at matched model sizes while matching fp16 LoRA quality in selected regimes. The unmerged adapter incurs at most 8% prefill latency overhead at matched rank r=16 despite an over 10x reduction in adapter footprint, with moderate training memory overhead of approximately 1.6x that of fp16 LoRA.
• Abstract（参考訳）: 大規模言語モデルのオンデバイス適応は、トレーニング中に量子化されたベースモデルを凍結し、小さなタスク固有のLoRAアダプタをデプロイするのが一般的である。 しかし,未統合のアダプタモードでは,アダプタはコンパクトなストレージモジュール以上のものであって,追加の高密度浮動小数点分岐を導入し,ローカル更新のためのトレーニング可能な状態を維持し,通信とホットスワッピングの単位として機能する。 有限サンプル解析により、復元品質は元のLoRA因子の残差とマグニチュード比によって制御されていることが示された。 アダプタモードの実験では、LoRDBAは、選択されたレギュレーションにおいてfp16 LoRAの品質にマッチしながら、一致したモデルサイズで低ビットベースラインを上回ります。 アンマージアダプタは、アダプタのフットプリントが10倍以上削減され、トレーニングメモリのオーバーヘッドがfp16 LoRAの約1.6倍になったにもかかわらず、マッチしたランクr=16で、少なくとも8%のプリフィル遅延オーバーヘッドが発生する。

関連論文リスト

• Rethinking Adapter Placement: A Dominant Adaptation Module Perspective [14.452224342067657]
  低ランク適応 (LoRA) は、低ランクアダプタを凍結事前訓練されたモデルに配置するパラメータ効率の良い微調整法である。 近年の研究では、LoRAアダプタの使用が減少し、パフォーマンスが向上する可能性があるが、既存の手法ではアダプタを広く配布している。 本研究では,DomLoRAを提案する。DomLoRAは1つのアダプタを主適応モジュールに配置する配置法である。
  論文  参考訳（メタデータ） (2026-05-07T13:01:00Z)
• Sparsity-Aware Low-Rank Representation for Efficient Fine-Tuning of Large Language Models [19.288371639304504]
  低ランク適応(LoRA)は、重み付けを分解することでトレーニング可能なパラメータを減らすが、基礎となる重み付けは高いストレージと計算コストを課す。 Sparsity-Aware Low-Rank Representationは,スパースプルーニングによる低ランク適応を統一する新しい微調整パラダイムである。
  論文  参考訳（メタデータ） (2026-01-08T20:34:12Z)
• Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems [11.584593298674688]
  Low-Rank Adaptation (LoRA)は,大規模言語モデル(LLM)のパラメータ効率向上のためのデファクト手法となった。 プロダクションでは、LoRAベースのモデルが大規模に提供され、数百のアダプタがベースモデルを共有するマルチテナント環境を生成する。 作業負荷を考慮した動的アダプタ配置とルーティングフレームワークであるLoRAServeについて述べる。
  論文  参考訳（メタデータ） (2025-11-28T05:04:02Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• Low-rank variational dropout: Uncertainty and rank selection in adapters [0.0]
  BayesLoRA は LoRA の設定における変分ドロップアウトを再検討し、自然の単位は個々の重みではなく、アダプタの全ランクであることを示した。 BayesLoRA は、(i) がアダプタのみのモンテカルロサンプリングによって予測し、(ii) がARDスタイルのKL項を介して自動的に冗長な階数を自動的に生成する、という後部を定めている。
  論文  参考訳（メタデータ） (2025-06-28T08:22:02Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters [16.160749645651567]
  本稿では,標準モデルの重量の1-2%を直接微調整し,その他をそのまま残すSparse High Rank Adapters (SHiRA)を提案する。 この高分散性は、推論オーバーヘッドを発生させることなく、融合モードで直接切り替えることを可能にし、マルチアダプタ融合時の概念損失を著しく低減する。
  論文  参考訳（メタデータ） (2024-07-22T22:46:36Z)
• LCM-LoRA: A Universal Stable-Diffusion Acceleration Module [52.8517132452467]
  LCM(Latent Consistency Models)は、テキストから画像への生成タスクの高速化において、優れたパフォーマンスを実現している。 本報告はLRA蒸留を大型の安定拡散モデルに適用することによりLCMの可能性をさらに拡張する。 LCM蒸留により得られたLoRAパラメータを LCM-LoRA という汎用安定拡散加速モジュールとして同定した。
  論文  参考訳（メタデータ） (2023-11-09T18:04:15Z)
• S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
  パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。 本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-06T17:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。