論文の概要: Low-Rank Ternary Adaptation for Fine-Tuning Transformers

• arxiv url: http://arxiv.org/abs/2608.24469v1
• Date: Tue, 25 Aug 2026 12:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.963607
• Title: Low-Rank Ternary Adaptation for Fine-Tuning Transformers
• Title（参考訳）: 微調整変圧器の低域3次適応
• Abstract要約: 3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
• 参考スコア（独自算出の注目度）: 54.3230438745856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ternary transformers offer extreme memory and compute efficiency, but existing low-bit LoRA-based methods cannot directly fine-tune ternary weights. Current approaches either require dequantization, restoring low-bit base weights to higher precision to merge with adaptation weight, or update only quantization parameters, preventing a merged model that remains ternary. We propose ternary multiplicative adaptation, which represents discrete updates of ternary weights such as sign flips or zeroing through a low-rank Kronecker factorization into two small ternary matrices applied element-wise to ternary weights. This design is parameter-efficient and expressive, preserves the ternary domain, and supports direct merging without dequantization. Experiments on six models across language and vision, including ternarized LLaMA-3 1B and 3B and a ternary ViT-B/16, demonstrate that our method recovers much of the performance lost to quantization and outperforms strong low-bit and ternary baselines. Code is available at https://github.com/alexmanoo/ternary_adaptation.
• Abstract（参考訳）: 第三次変換器は極端なメモリと計算効率を提供するが、既存のロービットのLoRAベースの手法では三次重みを直接微調整することはできない。 現在のアプローチでは、量子化を必要とするか、適応重みとマージするためにより高精度な低ビットベースウェイトを復元するか、あるいは量子化パラメータのみを更新し、第三次モデルのままのマージモデルを防ぐかのいずれかである。 3次乗算適応は,3次重みに対して要素的に応用された2つの小さな3次行列に,低ランクのクロネッカー分解による符号フリップやゼロ化などの三次重みの離散的な更新を表す。 この設計はパラメータ効率が高く表現力があり、三次領域を保存し、復号化せずに直接マージをサポートする。 LLaMA-3 1B と 3B の3次 ViT-B/16 を含む言語と視覚の6つのモデルに対する実験により,本手法は量子化に失われた性能の多くを回復し,強い低ビットおよび3次ベースラインを上回る性能を示した。 コードはhttps://github.com/alexmanoo/ternary_adaptation.comから入手できる。

関連論文リスト

• TWLA: Achieving Ternary Weights and Low-Bit Activations for LLMs via Post-Training Quantization [15.401450705732232]
  ターナライゼーションは有望な圧縮技術として登場した。 既存の方法は重み付き活性化分布に苦しむ。 我々は1.58ビットの重み圧縮と4ビットのアクティベーション量子化を実現するフレームワークであるTWLAを提案する。
  論文  参考訳（メタデータ） (2026-06-11T08:37:20Z)
• Stabilizing Native Low-Rank LLM Pretraining [24.2079184778031]
  低ランク要因化は、トレーニングと推論コストを削減するための有望なルートを提供する。 我々は,Large Language Models (LLMs) を低ランクの分解量でスクラッチからトレーニングできることを実証した。 提案手法は,過度なオーバーヘッドを伴って,安定したエンドツーエンドのファクタライズトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-02-12T21:33:14Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• TLoRA: Tri-Matrix Low-Rank Adaptation of Large Language Models [0.135975510645475]
  TLoRAはトリマトリクスの低ランク適応法である。 我々は,TLoRAが既存の低ランク手法に匹敵する性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-04-25T23:11:10Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。 推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。