Fugu-MT 論文翻訳(概要): 360-LLaMA-Factory: Plug & Play Sequence Parallelism for Long Post-Training

論文の概要: 360-LLaMA-Factory: Plug & Play Sequence Parallelism for Long Post-Training

arxiv url: http://arxiv.org/abs/2505.22296v1
Date: Wed, 28 May 2025 12:33:46 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-29 17:35:50.595982
Title: 360-LLaMA-Factory: Plug & Play Sequence Parallelism for Long Post-Training
Title（参考訳）: 360-LLaMA-Factory:長期トレーニングのためのプラグ&プレイシーケンス並列処理
Authors: Haosheng Zou, Xiaowei Lv, Shousheng Jia, Xiangzheng Zhang,
Abstract要約: 360-LLaMA-Factoryは広く認識されており、Light-R1 arXiv:2503.10460、TinyR1 arXiv:2503.04872、Kaggle AIMO数学モデル、大企業のトレーニングフレームワークで使用されている。この技術的レポートは、360-LLaMA-Factoryの異なるシーケンス並列モードについて深く掘り下げ、実装の洞察について論じます。
参考スコア（独自算出の注目度）: 0.9337154228221862
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Adding sequence parallelism into LLaMA-Factory, we open-sourced 360-LLaMA-Factory at https://github.com/Qihoo360/360-LLaMA-Factory. 360-LLaMA-Factory has received wide recognition and used in models such as Light-R1 arXiv:2503.10460, TinyR1 arXiv:2503.04872, Kaggle AIMO math models and also in large companies' training frameworks. This technical report delves deeper into the different sequence parallel modes behind 360-LLaMA-Factory and discusses our implementation insights.
Abstract（参考訳）: LLaMA-Factoryにシーケンス並列性を加えることで、私たちは、https://github.com/Qihoo360/360-LLaMA-Factoryで360-LLaMA-Factoryをオープンソース化しました。 360-LLaMA-Factoryは広く認識されており、Light-R1 arXiv:2503.10460、TinyR1 arXiv:2503.04872、Kaggle AIMO数学モデル、大企業のトレーニングフレームワークで使用されている。この技術的レポートは、360-LLaMA-Factoryの異なるシーケンス並列モードについて深く掘り下げ、実装の洞察について論じます。

関連論文リスト

xGen-MM (BLIP-3): A Family of Open Large Multimodal Models [157.44696790158784]
本稿では,LMM(Large Multimodal Models)を開発するためのフレームワークであるxGen-MMを紹介する。このフレームワークは、慎重にキュレートされたデータセット、トレーニングレシピ、モデルアーキテクチャ、結果のLMMスイートで構成されている。私たちのモデルは、シングルイメージとマルチイメージのベンチマークを含む、さまざまなタスクにわたって厳格な評価を受けています。
論文参考訳（メタデータ） (2024-08-16T17:57:01Z)
LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre-training [21.359073227913303]
大規模な環境でのMoEのスクラッチからのトレーニングは、依然としてデータ不足と不安定な問題に悩まされている。この制限により、既存の高密度大言語モデルからMoEモデルを構築することを検討する。我々のLLaMA-MoEモデルは、同様のアクティベーションパラメータを含む高密度モデルよりも著しく優れている。
論文参考訳（メタデータ） (2024-06-24T11:43:07Z)
Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文参考訳（メタデータ） (2024-01-19T05:02:46Z)
RedCoast: A Lightweight Tool to Automate Distributed Training of LLMs on Any GPU/TPUs [32.01139974519813]
大規模言語モデル(LLM)の分散トレーニングと推論を自動化するツールであるRedCoastを紹介する。また,3つの関数の定義により,多様なMLパイプラインをカスタマイズする機構を提案する。その結果、Redcoの実装は公式実装に比べてコード行数が大幅に減った。
論文参考訳（メタデータ） (2023-10-25T04:32:35Z)
Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
論文参考訳（メタデータ） (2023-10-10T15:13:30Z)
LLaMA-Reviewer: Advancing Code Review Automation with Large Language Models through Parameter-Efficient Fine-Tuning [13.616908697637665]
LLaMA-Reviewerは、コードレビューの領域において、人気のあるLLMであるLLaMAの機能を活用する革新的なフレームワークである。このフレームワークはパラメータ効率のよい微調整(PEFT)方式を採用し、トレーニング可能なパラメータの1%未満を使用しながら高い性能を実現する。この分野での継続的な進歩を促進するために、コードとすべてのPEFT軽量プラグインがオープンソース化された。
論文参考訳（メタデータ） (2023-08-22T03:10:40Z)
XRBench: An Extended Reality (XR) Machine Learning Benchmark Suite for the Metaverse [18.12263246913058]
メタバースユースケースをサポートするために拡張現実(XR)のようなアプリケーション分野では、リアルタイムマルチタスクマルチモデル(MTMM)ワークロードが出現している。これらのワークロードは、ユーザインタラクションと計算に複雑な機械学習(ML)アクティビティを組み合わせる。これらのワークロードには、固有の困難と制約がある。
論文参考訳（メタデータ） (2022-11-16T05:08:42Z)
MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文参考訳（メタデータ） (2021-06-05T03:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。