論文の概要: LongCat-Flash Technical Report
- arxiv url: http://arxiv.org/abs/2509.01322v2
- Date: Fri, 19 Sep 2025 13:34:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-22 14:11:07.212391
- Title: LongCat-Flash Technical Report
- Title（参考訳）: LongCat-Flash技術報告
- Abstract要約: LongCat-Flashは、560ビリオンパラメータのMixture-of-Experts (MoE)言語モデルである。
計算効率と高度なエージェント能力の両方のために設計されている。
30日以内に20兆トークン以上のモデルトレーニングを完了し、100トークン/秒 (TPS) 以上の推論を0.70パーセントのアウトプットトークンで達成しました。
- 参考スコア（独自算出の注目度）: 165.64670448930875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce LongCat-Flash, a 560-billion-parameter Mixture-of-Experts (MoE) language model designed for both computational efficiency and advanced agentic capabilities. Stemming from the need for scalable efficiency, LongCat-Flash adopts two novel designs: (a) Zero-computation Experts, which enables dynamic computational budget allocation and activates 18.6B-31.3B (27B on average) per token depending on contextual demands, optimizing resource usage. (b) Shortcut-connected MoE, which enlarges the computation-communication overlap window, demonstrating notable gains in inference efficiency and throughput compared to models of a comparable scale. We develop a comprehensive scaling framework for large models that combines hyperparameter transfer, model-growth initialization, a multi-pronged stability suite, and deterministic computation to achieve stable and reproducible training. Notably, leveraging the synergy among scalable architectural design and infrastructure efforts, we complete model training on more than 20 trillion tokens within 30 days, while achieving over 100 tokens per second (TPS) for inference at a cost of \$0.70 per million output tokens. To cultivate LongCat-Flash towards agentic intelligence, we conduct a large-scale pre-training on optimized mixtures, followed by targeted mid- and post-training on reasoning, code, and instructions, with further augmentation from synthetic data and tool use tasks. Comprehensive evaluations demonstrate that, as a non-thinking foundation model, LongCat-Flash delivers highly competitive performance among other leading models, with exceptional strengths in agentic tasks. The model checkpoint of LongCat-Flash is open-sourced to foster community research. LongCat Chat: https://longcat.ai Hugging Face: https://huggingface.co/meituan-longcat GitHub: https://github.com/meituan-longcat
- Abstract（参考訳）: 計算効率と高度なエージェント能力の両方のために設計された560ビリオンパラメータ混在(MoE)言語モデルであるLongCat-Flashを紹介する。
スケーラブルな効率性の必要性から、LongCat-Flashは2つの新しい設計を採用した。
(a)ゼロ計算エキスパート(Zero-Computation Experts)は、動的計算予算割り当てを可能にし、コンテキスト要求に応じてトークン当たり18.6B-31.3B(平均27B)を起動し、リソース使用量を最適化する。
(b)ショートカット接続型MoEは,計算通信重なり窓を大きくし,推定効率とスループットが同等のスケールのモデルに比べて顕著に向上したことを示す。
我々は,ハイパーパラメータ転送,モデル成長の初期化,多機能安定スイート,安定かつ再現可能なトレーニングを実現する決定論的計算を組み合わせた大規模モデルの包括的なスケーリングフレームワークを開発する。
特に、スケーラブルなアーキテクチャ設計とインフラストラクチャの取り組みの相乗効果を活用して、30日以内に20兆トークン以上のモデルトレーニングを完了します。
エージェントインテリジェンスに向け,LongCat-Flashを大規模に事前学習し,その後,推論,コード,命令を対象とし,さらに合成データやツールの使用タスクを増強する。
総合的な評価によると、LongCat-Flashは、考えのない基礎モデルとして、他の主要なモデルと高い競争力を発揮し、エージェント的タスクでは例外的な強みを持っている。
LongCat-Flashのモデルチェックポイントは、コミュニティ研究を促進するためにオープンソース化されている。
LongCat Chat: https://longcat.ai Hugging Face: https://huggingface.co/meituan-longcat GitHub: https://github.com/meituan-longcat
関連論文リスト
- TuringLLM: Efficiently Scaling Foundation Models Toward Physical AI [43.58694189855896]
本稿では,トークン毎に約2Bパラメータを活性化するMixture-of-Experts言語モデルであるTuring-20B-A2Bを提案する。
このモデルは動的トップk構成でQuantile Routingを採用し、トークン適応型のエキスパートアロケーションを可能にする。
このモデルはプログレッシブな3段階のカリキュラムで事前訓練され、継続事前訓練を通じて128Kのネイティブコンテキストに拡張されている。
論文 参考訳（メタデータ） (2026-08-31T10:42:35Z) - MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。
1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
論文 参考訳（メタデータ） (2026-02-12T09:37:05Z) - Efficient Context Scaling with LongCat ZigZag Attention [39.95366576062524]
LongCat ZigZag Attention (LongCat ZigZag Attention, LoZA) は、既存のフルアテンションモデルを比較的限られた計算予算でスパースバージョンに変換するために設計されたスパースアテンションスキームである。
LoZAは、プリフィル集約型(例えば、検索拡張型生成)とデコード集約型(例えば、ツール統合推論)の両方のケースにおいて、大幅なスピードアップを達成することができる。
論文 参考訳（メタデータ） (2025-12-30T03:39:04Z) - LongCat-Flash-Omni Technical Report [131.47284063481922]
LongCat-Flash-Omniは5600億のパラメータを持つオープンソースのOmni-modalモデルである。
LongCat-Flash-Omniは強力なunimodal機能を維持しながら、包括的なマルチモーダル機能を実現する。
低レイテンシのリアルタイムオーディオ・ビジュアルインタラクションを実現する。
論文 参考訳（メタデータ） (2025-10-31T21:58:15Z) - Introducing LongCat-Flash-Thinking: A Technical Report [116.75498493511026]
LongCat-Flash-ThinkingはオープンソースのMixture-of-Experts (MoE)推論モデルである。
高度な能力は、巧妙に製作された訓練プロセスを通じて育成される。
LongCat-Flash-Thinkingは、複雑な推論タスクのスイート上で、オープンソースモデル間の最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-09-23T10:25:48Z) - LAWCAT: Efficient Distillation from Quadratic to Linear Attention with Convolution across Tokens for Long Context Modeling [27.045621004239067]
本稿では,事前学習した変圧器の性能を線形アテンションアーキテクチャに効率よく伝達する新しい線形化フレームワークであるLAWCATを提案する。
LAWCATは因果Conv1D層を統合し、局所的な依存性モデリングを強化し、正規化されたゲート付き線形アテンションを用いてコンテキスト長の一般化を改善する。
以上の結果から,Mistral-7Bを1K長で蒸留すると,90%以上のパスキー検索精度が最大22Kトークンとなることがわかった。
論文 参考訳（メタデータ） (2025-09-22T22:43:44Z) - SpikingBrain: Spiking Brain-inspired Large Models [42.41339012839023]
SpikingBrainは脳にインスパイアされたモデルの1つである。
線形 LLM である SpikingBrain-7B とハイブリッド線形 MoE LLM である SpikingBrain-76B の2つのモデルを開発した。
我々のモデルは、長期トレーニング効率を大幅に改善し、(部分的には)一定メモリとイベント駆動スパイクの振る舞いで推論を提供する。
論文 参考訳（メタデータ） (2025-09-05T17:34:00Z) - Scaling Intelligence: Designing Data Centers for Next-Gen Language Models [0.13332839594069593]
GPT-4のような1.8兆のパラメータを持つ大規模言語モデル(LLM)は、データセンターアーキテクチャの根本的な再考を要求する。
我々の研究は、FLOPS、帯域幅と容量、複数のネットワークトポロジを共同で探求する包括的な協調設計フレームワークを提供する。
我々は、重なり合う計算と通信の利点を定量化し、ハードウェアアクセラレーションされた集合体を活用し、スケールアウト領域を広げ、メモリ容量を増大させる。
論文 参考訳（メタデータ） (2025-06-17T22:29:37Z) - Hunyuan-TurboS: Advancing Large Language Models through Mamba-Transformer Synergy and Adaptive Chain-of-Thought [196.74837065805488]
Hunyuan-TurboSは、Transformer-Mamba Mixture of Expertsの大型ハイブリッドモデルである。
高いパフォーマンスと効率のバランスを保ち、推論コストを低く抑えている。
論文 参考訳（メタデータ） (2025-05-21T12:11:53Z) - From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models [54.44375226381814]
長いコンテキスト機能は、ドキュメントやビデオの理解、コンテキスト内学習、推論時間スケーリングなど、幅広いアプリケーションに不可欠である。
コンテクスト長を128Kから1M,2M,4Mに制限し,コンテクスト長を128Kから4Mに抑えることで,超長コンテキストLCMを構築するための効率的なトレーニング手法を提案する。
提案手法は,多種多様な長文ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2025-04-08T16:58:58Z) - Training-Free Long-Context Scaling of Large Language Models [114.53296002607993]
我々は、Llama2 70Bが連続的なトレーニングなしで100k以上のトークンのコンテキストウィンドウをサポート可能なDual Chunk Attentionを提案する。
長いシーケンスの注意をチャンクベースのモジュールに分解することで、DCAはトークンの相対的な位置情報を効果的にキャプチャする。
論文 参考訳（メタデータ） (2024-02-27T12:39:23Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。