Fugu-MT 論文翻訳(概要): ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning

論文の概要: ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning

arxiv url: http://arxiv.org/abs/2605.21177v1
Date: Wed, 20 May 2026 13:44:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-21 19:19:56.70014
Title: ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning
Title（参考訳）: ChunkFT: メモリ効率の良いフルファインチューニングのためのバイトストリーム最適化
Abstract要約: textscChunkFTはメモリ効率の良い微調整フレームワークである。 textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。 textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
参考スコア（独自算出の注目度）: 58.54940026861599
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work presents \textsc{ChunkFT}, a memory-efficient fine-tuning framework that reformulates full-parameter fine-tuning around a dynamically activated working set. \textsc{ChunkFT} enables gradient computation for arbitrary sub-tensors without modifying the network architecture, providing an algorithmic foundation for optimizing arbitrary sub-networks while avoiding standard dense gradient computation. We provide a theoretical convergence analysis of \textsc{ChunkFT} in the deterministic setting. Empirically, we apply \textsc{ChunkFT} to fine-tune Llama 3-8B and Llama 3-70B using a single RTX 4090-24GB GPU and 2$\times$ H800-80GB GPUs, respectively. Full-parameter fine-tuning of a 7B model with a 1K input length requires only 13.72GB of GPU memory. The results demonstrate the effectiveness of \textsc{ChunkFT} in memory usage, running time, and optimization quality. Moreover, downstream evaluations on language understanding, mathematical reasoning, and MT-Bench show that \textsc{ChunkFT} consistently outperforms existing memory-efficient baselines. Notably, \textsc{ChunkFT} achieves performance comparable to, and in some cases exceeding, full-parameter fine-tuning. Our repository is on https://github.com/misonsky/chunk.
Abstract（参考訳）: この研究は、動的に活性化されたワーキングセットの周りにフルパラメータの微調整を再構成するメモリ効率の良い微調整フレームワークである「textsc{ChunkFT}」を提示する。 \textsc{ChunkFT} は、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にし、標準的な勾配計算を回避しつつ任意のサブネットワークを最適化するアルゴリズム基盤を提供する。本稿では, 決定論的条件下での textsc{ChunkFT} の理論的収束解析について述べる。経験的には、単一RTX 4090-24GB GPUと2$\times$ H800-80GB GPUを用いて、Llama 3-8B と Llama 3-70B に \textsc{ChunkFT} を適用する。 1K入力長の7Bモデルのフルパラメータ細調整には、わずか13.72GBのGPUメモリが必要である。その結果, メモリ使用量, 実行時間, 最適化品質において, textsc{ChunkFT} の有効性が示された。さらに、言語理解、数学的推論、MT-Benchのダウンストリーム評価は、既存のメモリ効率のベースラインを一貫して上回っていることを示している。特に、 \textsc{ChunkFT} は、フルパラメータの微調整に匹敵するパフォーマンスを達成する。私たちのリポジトリはhttps://github.com/misonsky/chunk.comにある。

関連論文リスト

Fast Log-Domain Sinkhorn Optimal Transport with Warp-Level GPU Reductions [1.6679662639178268]
我々は、log-domain Sinkhornアルゴリズムの軽量でネイティブな実装であるFastSinkhornを提案する。我々の解法はログドメインで完全に動作し、標準ドメインメソッドが失敗するepsilon = 10-4のように、正規化パラメータの計算を可能にする。画像色変換, 3次元点雲マッチング, 収束解析について検証し, 注意深い数値処理を施したネイティブカーネルが, 大規模最適輸送のための実用的で効率的な基盤となることを示した。
論文参考訳（メタデータ） (2026-04-04T16:06:27Z)
Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
論文参考訳（メタデータ） (2025-12-24T00:41:13Z)
DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
論文参考訳（メタデータ） (2025-10-09T17:24:54Z)
Orthogonal Finetuning Made Scalable [92.34573849209238]
OFT(Orthogonal Finetuning)は、壊滅的な忘れ込みを防止しつつ、パラメータ効率の高い適応を提供するが、実行時とメモリの要求が高いため、実際のデプロイメントが制限される。ここでは,OFTの計算ボトルネックを重み中心の実装とみなす。本稿では,行列ベクトル乗法(行列フリー計算)を用いて,計算コストを2次に削減する入力中心の変換法OFTv2を提案する。これらの変更により、OFTv2は最大10倍の高速トレーニングと3倍のGPUメモリ使用率を達成することができる。
論文参考訳（メタデータ） (2025-06-24T17:59:49Z)
Token-Driven GammaTune: Adaptive Calibration for Enhanced Speculative Decoding [0.0]
投機的復号化は大きな言語モデル推論を加速させる。 textitGammaTune と textitGammaTune+ を導入し,トークンの受入率に基づいて投機長を動的に調整する学習自由適応アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-03-28T23:41:55Z)
Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文参考訳（メタデータ） (2024-10-22T17:59:30Z)
From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
論文参考訳（メタデータ） (2024-02-02T21:25:46Z)
Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文参考訳（メタデータ） (2024-01-29T18:43:49Z)
HiFT: A Hierarchical Full Parameter Fine-Tuning Strategy [55.17502828915191]
本稿では,各学習段階におけるパラメータのサブセットのみを更新する,新しい非独立なエンドツーエンドの階層的微調整戦略であるHiFTを提案する。この結果から,HiFTはパラメータ効率の高いファインチューニングと標準のフルパラメータファインチューニングに匹敵する性能を達成できることが示された。
論文参考訳（メタデータ） (2024-01-26T21:14:32Z)
8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文参考訳（メタデータ） (2021-10-06T15:43:20Z)
Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms [0.6543507682026964]
Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
論文参考訳（メタデータ） (2021-09-13T19:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。