論文の概要: torchtune: PyTorch native post-training library

• arxiv url: http://arxiv.org/abs/2605.21442v1
• Date: Wed, 20 May 2026 17:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.815084
• Title: torchtune: PyTorch native post-training library
• Title（参考訳）: Torchtune: PyTorchネイティブなポストトレーニングライブラリ
• Authors: Mark Obozov, Maxime Griot, Joseph Cummings, Evan Smothers, Felipe Mello, Rafi Ayub, Philip John Bontrager, Salman Mohammadi, Ariel Kwiatkowski, Nathan Azrak, Mircea Mironenco,
• Abstract要約: Torchtuneは、LLMのトレーニング後のライフサイクルを合理化するように設計されたPyTorchネイティブライブラリである。 我々は、Torchtuneの設計原則を示し、モデルビルダー、トレーニングレシピ、分散トレーニングスタックにどのように反映されているかを説明し、トレーニング後の代表的な設定でライブラリを評価する。
• 参考スコア（独自算出の注目度）: 3.7075138542050166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern LLMs typically require multistage training pipelines to achieve strong downstream performance, with post-training serving as the main interface for adapting open-weight models. We introduce torchtune, a PyTorch-native library designed to streamline the post-training lifecycle of LLMs, enabling efficient fine-tuning, experimentation, and deployment-oriented workflows. Unlike many existing fine-tuning frameworks, which often optimize for ease of use, specialized recipes, or hardware efficiency at the cost of transparency and extensibility, torchtune emphasizes modularity, hackability, and direct access to the underlying PyTorch components. In this paper, we present the design principles behind torchtune, describe how they are reflected in its model builders, training recipes, and distributed training stack, and evaluate the library across representative post-training settings. We compare against popular fine-tuning frameworks, including Axolotl and Unsloth, and show that torchtune provides strong performance and memory efficiency across many settings while remaining flexible enough for rapid research iteration. These results position torchtune as a practical foundation for reproducible LLMs post-training research.
• Abstract（参考訳）: 現代のLLMは、高速なダウンストリーム性能を達成するために、多段階のトレーニングパイプラインを必要としており、オープンウェイトモデルに適応するための主要なインターフェースとしてポストトレーニングが機能している。 我々は、LLMのトレーニング後のライフサイクルを効率化し、効率的な微調整、実験、デプロイメント指向ワークフローを可能にするために設計されたPyTorchネイティブライブラリであるTorchtuneを紹介した。 多くの既存の微調整フレームワークは、透明性と拡張性の犠牲で、使いやすさ、特別なレシピ、ハードウェア効率を最適化することが多いが、Torchtuneはモジュール性、ハッキング性、基礎となるPyTorchコンポーネントへの直接アクセスを強調している。 本稿では、Torchtuneの設計原則を説明し、モデルビルダー、トレーニングレシピ、分散トレーニングスタックにどのように反映されているかを説明し、代表的なポストトレーニング設定間でライブラリの評価を行う。 我々は、AxolotlやUnslothといった一般的な微調整フレームワークと比較し、Torchtuneが高速な研究イテレーションに十分な柔軟性を維持しつつ、多くの設定において強力なパフォーマンスとメモリ効率を提供することを示した。 これらの結果は、再現可能なLLMの訓練後研究の実践的基盤としてトルクチューンを位置づけている。

関連論文リスト

• AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models [59.7059443712562]
  AdaPtisは、適応パイプライン並列性をサポートする大規模言語モデル(LLM)のトレーニングシステムである。 大規模な実験により、AdaPtisはMegatron-LM I-1F1Bよりも平均1.42倍(最大2.14倍)のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-09-28T08:05:13Z)
• SimpleFSDP: Simpler Fully Sharded Data Parallel with torch.compile [7.544642148576768]
  SimpleFSDPは、PyTorchネイティブコンパイラベースのFully Sharded Data Parallel (FSDP)フレームワークである。 メンテナンスと計算性のためのシンプルな実装を持ち、完全なコンポコミュニケーショングラフトレースを可能にし、コンパイラのバックエンド最適化によるパフォーマンス向上を実現している。 また、効率的な計算通信オーバーラップのために、TorchInductorバックエンドでバケットと並べ替えを行うIRノードも備えている。
  論文  参考訳（メタデータ） (2024-11-01T00:43:54Z)
• TorchTitan: One-stop PyTorch native solution for production ready LLM pre-training [17.157552816494427]
  本稿では,オープンソースのPyTorchネイティブ分散トレーニングシステムであるTorchTitanを紹介する。 最先端のテクニックを統一し、統合を合理化し、オーバーヘッドを減らす。 大型言語モデル (LLM) のLlama 3.1 ファミリー上での TorchTitan の評価を行った。
  論文  参考訳（メタデータ） (2024-10-09T03:26:11Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Flextron: Many-in-One Flexible Large Language Model [85.93260172698398]
  我々は,フレキシブルモデル展開をサポートするネットワークアーキテクチャとポストトレーニングモデル最適化フレームワークであるFlextronを紹介する。 本稿では,既存の学習用LDMをFlextronモデルに変換するための,サンプル効率のよいトレーニング手法と関連するルーティングアルゴリズムを提案する。 我々は、複数のエンドツーエンドトレーニングされた変種や他の最先端の弾性ネットワークよりも優れた性能を示し、これらは全て、オリジナルの事前訓練と比較してわずか7.63%のトークンを消費する単一の事前訓練ランで実現している。
  論文  参考訳（メタデータ） (2024-06-11T01:16:10Z)
• torchgfn: A PyTorch GFlowNet library [44.94532429787822]
  我々は、このニーズに対処することを目的としたPyTorchライブラリであるTorchgfnを紹介します。 その中核的な貢献は、環境、ニューラルネットワークモジュールを扱い、目標を交換可能なコンポーネントとしてトレーニングするモジュールで分離されたアーキテクチャである。 これによってユーザは、高速なプロトタイピングと新しい研究を容易にする、シンプルだが強力なAPIをユーザに提供する。
  論文  参考訳（メタデータ） (2023-05-24T00:20:59Z)
• Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
  本稿では,構造化予測ライブラリTorch-Structを紹介する。 Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
  論文  参考訳（メタデータ） (2020-02-03T16:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。