論文の概要: TerMeZO: Ternary Sparse Zeroth-Order Optimization for Fine-tuning BitNet Models at the Edge

• arxiv url: http://arxiv.org/abs/2609.33548v1
• Date: Sun, 27 Sep 2026 13:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:52:32.428658
• Title: TerMeZO: Ternary Sparse Zeroth-Order Optimization for Fine-tuning BitNet Models at the Edge
• Title（参考訳）: TerMeZO:エッジにおける微調整ビットネットモデルの3次スパースゼロ階最適化
• Abstract要約: 1次勾配を持つ微調整アンゲージモデル(LLM)は、推論に必要なものよりも数倍大きなメモリを必要とする。 本稿では,三元数量化器自体の幾何学を利用して細調整時に値が変化する可能性のある潜時重みを同定する,スパースなMeZO方式であるTerMeZOを提案する。
• 参考スコア（独自算出の注目度）: 28.299368689650024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning anguage models (LLMs) with first-order optimizers requires a memory several times larger than that required for inference. Memory-efficient zeroth-order optimization (MeZO) sidesteps this cost by estimating gradients from forward passes only. However, for BitNet architectures, a family of LLMs with ternary {-1,0,1\} weights and 8-bit activations, fine-tuning requires updating full-precision latent weights, and thus the memory footprint of MeZO no longer matches that of inference. A promising solution is to finetune only a subset of the latent weights, but existing sparse zeroth-order (ZO) methods either ignore the ternary structure or require first-order gradient information to build a sparse mask, which is at odds with the purpose of ZO fine-tuning. We propose TerMeZO, a sparse MeZO scheme that exploits the geometry of the ternary quantizer itself to identify the latent weights that are more likely to change values during fine-tuning, at no additional data or memory cost. Our convergence analysis shows that TerMeZO can converge faster than full-parameter MeZO, owing to its optimized reduction of the fine-tuning effective dimension. We run extensive experiments on BitNet models ranging from 1B to 3B parameters, spanning classification, instruction-following, and mathematical reasoning tasks. TerMeZO matches or exceeds the performance of full-parameter MeZO while substantially reducing the fine-tuning memory footprint.
• Abstract（参考訳）: 1次オプティマイザを備えた微調整アンゲージモデル(LLM)は、推論に必要なものよりも数倍大きなメモリを必要とする。 メモリ効率ゼロ階最適化(MeZO)はこのコストをフォワードパスからのみ勾配を推定することでサイドステップする。 しかし、BitNetアーキテクチャでは、第3の{-1,0,1\}重みと8ビットアクティベーションを持つLLMのファミリーでは、微調整では完全な潜伏重みを更新する必要があるため、MeZOのメモリフットプリントは推論のそれと一致しない。 有望な解決策は、潜在重みのサブセットだけを微調整することであるが、既存のスパースゼロ階法(ZO)は三次構造を無視したり、スパースマスクを構築するために一階勾配情報を必要とする。 本稿では, 3次量子化器自体の形状を利用して, 微調整時に, 追加データやメモリコストを伴わずに値を変化させる可能性のある潜時重みを同定する, スパースなMeZO方式TerMeZOを提案する。 我々の収束解析は, 微調整有効次元の最適化により, TerMeZO が全パラメータ MeZO よりも高速に収束できることを示唆している。 BitNetモデルでは,1Bから3Bパラメータ,スパンニング分類,命令追従,数学的推論タスクなど,幅広い実験を行った。 TerMeZO はフルパラメータ MeZO のパフォーマンスに適合するが、微調整メモリのフットプリントを大幅に削減する。

関連論文リスト

• Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models [33.911521719528686]
  微調整は、大きな言語モデルを下流タスクに適応させるには強力だが、多くの場合、大きなメモリ使用量をもたらす。 有望なアプローチはゼロ階勾配 (ZO) を使うことであり、これは第一階勾配 (FO) を置き換えると見積もられている。 本稿では,レイヤワイドスパース計算とメモリ効率の高いZO,LeZOを提案する。
  論文  参考訳（メタデータ） (2024-10-13T12:47:37Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning [67.44661423463927]
  本稿では,ZOをパラメータの慎重に選択したサブセットにのみ適用するメモリ効率のゼロ階最適化手法であるSparse MeZOを紹介する。 その結果,Sparse-MeZO はオーバーヘッドを伴わずに,MeZO 上での性能と収束速度を安定的に向上することを示した。
  論文  参考訳（メタデータ） (2024-02-24T07:22:04Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。