論文の概要: Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection

• arxiv url: http://arxiv.org/abs/2601.05501v1
• Date: Fri, 09 Jan 2026 03:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.826296
• Title: Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection
• Title（参考訳）: Hi-ZFO:Importance-Guided Tensor Selectionによる階層型ゼロ・ファーストオーダーLDMファインチューニング
• Authors: Feihu Jin, Ying Tan,
• Abstract要約: FO勾配をZO推定と相乗化するためにtextbfHi-ZFO (textbfHierarchical textbfZeroth- and textbfFirst-textbfOrder optimization) を提案する。 また,Hi-ZFOはトレーニング時間を大幅に短縮しつつ,優れた性能を実現していることを示す。
• 参考スコア（独自算出の注目度）: 4.808936079900314
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-tuning large language models (LLMs) using standard first-order (FO) optimization often drives training toward sharp, poorly generalizing minima. Conversely, zeroth-order (ZO) methods offer stronger exploratory behavior without relying on explicit gradients, yet suffer from slow convergence. More critically, our analysis reveals that in generative tasks, the vast output and search space significantly amplify estimation variance, rendering ZO methods both noisy and inefficient. To address these challenges, we propose \textbf{Hi-ZFO} (\textbf{Hi}erarchical \textbf{Z}eroth- and \textbf{F}irst-\textbf{O}rder optimization), a hybrid framework designed to synergize the precision of FO gradients with the exploratory capability of ZO estimation. Hi-ZFO adaptively partitions the model through layer-wise importance profiling, applying precise FO updates to critical layers while leveraging ZO optimization for less sensitive ones. Notably, ZO in Hi-ZFO is not merely a memory-saving surrogate; it is intentionally introduced as a source of "beneficial stochasticity" to help the model escape the local minima where pure FO optimization tends to stagnate. Validated across diverse generative, mathematical, and code reasoning tasks, Hi-ZFO consistently achieves superior performance while significantly reducing the training time. These results demonstrate the effectiveness of hierarchical hybrid optimization for LLM fine-tuning.
• Abstract（参考訳）: 標準一階述語最適化(FO)を用いた細調整大型言語モデル(LLM)は、しばしば鋭く、十分に一般化されたミニマへのトレーニングを駆動する。 逆に、ゼロ階法(ZO)は、明示的な勾配に依存することなく、より強い探索的振舞いを提供するが、緩やかな収束に苦しむ。 さらに重要なことは、生成タスクにおいて、膨大な出力と探索空間が推定分散を著しく増幅し、ZO法をノイズと非効率の両方でレンダリングすることである。 これらの課題に対処するために、ZO推定の探索能力とFO勾配の精度を相乗化するために設計されたハイブリッドフレームワークである \textbf{Hi-ZFO} (\textbf{Hi}erarchical \textbf{Z}eroth- and \textbf{F}irst-\textbf{O}rder Optimization) を提案する。 Hi-ZFOは、階層的に重要なプロファイリングを通じてモデルを適応的に分割し、重要レイヤに正確なFO更新を適用し、感度の低いレイヤに対してZO最適化を活用する。 特に、Hi-ZFOのZOは単にメモリセービングサロゲートではなく、純粋なFO最適化が停滞する局所ミニマから逃れるのに役立つ「便益的確率性」の源として意図的に導入されている。 Hi-ZFOは、多種多様な生成、数学的、およびコード推論タスクにまたがって検証され、トレーニング時間を著しく短縮しつつ、常に優れたパフォーマンスを達成する。 これらの結果から,LLM微調整における階層型ハイブリッド最適化の有効性が示された。

関連論文リスト

• Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning [44.907586955452295]
  大規模言語モデル(LLM)は様々なタスクにまたがるが、標準的な一階述語(FO)の微調整にはかなりのメモリを必要とする。 近年、ゼロオーダー(ZO)最適化はメモリ効率のよいトレーニングパラダイムとして注目されている。 本稿では,FOおよびZO最適化の異なる更新パターンを明らかにするレイヤワイズ分散分析を提案する。 以上の結果から,DiZOはスループットを犠牲にすることなく,コンバージェンスに必要なイテレーションを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2025-02-05T16:03:17Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。