論文の概要: TuringLLM: Efficiently Scaling Foundation Models Toward Physical AI

• arxiv url: http://arxiv.org/abs/2608.30567v1
• Date: Mon, 31 Aug 2026 10:42:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.354073
• Title: TuringLLM: Efficiently Scaling Foundation Models Toward Physical AI
• Title（参考訳）: TuringLLM: 物理AIに向けたファンデーションモデルの効率的なスケーリング
• Abstract要約: 本稿では,トークン毎に約2Bパラメータを活性化するMixture-of-Experts言語モデルであるTuring-20B-A2Bを提案する。 このモデルは動的トップk構成でQuantile Routingを採用し、トークン適応型のエキスパートアロケーションを可能にする。 このモデルはプログレッシブな3段階のカリキュラムで事前訓練され、継続事前訓練を通じて128Kのネイティブコンテキストに拡張されている。
• 参考スコア（独自算出の注目度）: 43.58694189855896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Turing-20B-A2B, a 20B-parameter Mixture-of-Experts language model that activates approximately 2B parameters per token, designed for long-context and latency-sensitive physical AI applications. The model adopts Quantile Routing in a dynamic top-k configuration, enabling token-adaptive expert allocation while maintaining balanced expert utilization and a controlled average compute budget. During deployment, we further apply capacity-constrained routing to prompt prefill for more regular and efficient expert execution, while retaining dropless routing during pretraining. Turing-20B-A2B also employs a hybrid attention architecture that combines Lightning Attention with a small number of full-attention layers for efficient long-context modeling. The model is pretrained with a progressive three-stage curriculum and extended to a native context length of 128K through continued pretraining, with further inference-time extension to 512K using YaRN. Despite its compact active-parameter budget, Turing-20B-A2B achieves, at the base-model stage, overall general capability exceeding Qwen3-8B Base and approaching Qwen3.5-9B Base, while maintaining strong long-context performance and favorable prefill-latency scaling. These results demonstrate an effective balance among model capability, long-context scalability, and practical inference efficiency.
• Abstract（参考訳）: 本稿では,トークン当たり約2Bパラメータを活性化する20Bパラメータ混合言語モデルであるTuring-20B-A2Bについて述べる。 このモデルは動的トップk構成でQuantile Routingを採用し、バランスの取れたエキスパート利用と制御された平均計算予算を維持しながらトークン適応型のエキスパートアロケーションを可能にする。 デプロイ中は、キャパシティに制約のあるルーティングを適用して、より規則的で効率的なエキスパート実行をプリフィルし、事前トレーニング中にドロップレスルーティングを保持する。 また、Turing-20B-A2BはLightning Attentionと少数のフルアテンション層を組み合わせたハイブリッドアテンションアーキテクチャを使用して、効率的なロングコンテキストモデリングを行う。 モデルはプログレッシブな3段階のカリキュラムで事前訓練され、128Kのネイティブコンテキスト長まで拡張され、YaRNを使用して512Kまで拡張される。 小型のアクティブパラメーターの予算にもかかわらず、チューリング-20B-A2BはベースモデルではQwen3-8Bベースを超え、Qwen3.5-9Bベースに近づき、強い長文性能と良好なプリフィルレイテンシースケーリングを維持した。 これらの結果は、モデル能力、長期コンテキストのスケーラビリティ、実用的な推論効率のバランスを効果的に示している。

関連論文リスト

• 1BT: One-Block Transformer for EEG-Based Cognitive Workload Assessment [6.076106785472718]
  本稿では,脳波を用いた認知負荷評価のためのワンブロック変換器である1BTを紹介する。 認知学的に多様な3つの課題を遂行する11人の被験者を対象とした対照研究を行った。 このモデルは0.5百万以下のパラメータと0.02 GFLOPで高いワークロード分類性能を達成する。
  論文  参考訳（メタデータ） (2026-04-21T04:32:59Z)
• LongCat-Flash-Thinking-2601 Technical Report [134.89732115690705]
  LongCat-Flash-Thinking-2601はオープンソースのMixture-of-Experts (MoE)推論モデルである。 LongCat-Flash-Thinking-2601は、幅広いエージェントベンチマーク上で、オープンソースモデル間の最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-01-23T13:20:09Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• LongCat-Flash Technical Report [165.64670448930875]
  LongCat-Flashは、560ビリオンパラメータのMixture-of-Experts (MoE)言語モデルである。 計算効率と高度なエージェント能力の両方のために設計されている。 30日以内に20兆トークン以上のモデルトレーニングを完了し、100トークン/秒 (TPS) 以上の推論を0.70パーセントのアウトプットトークンで達成しました。
  論文  参考訳（メタデータ） (2025-09-01T10:05:45Z)
• KAT-V1: Kwai-AutoThink Technical Report [50.84483585850113]
  Kwaipilot-AutoThink (KAT) はオープンソースの40B大言語モデルであり、推論集約タスクにおける過大な問題に対処するために開発された。 KATはタスクの複雑さに基づいて推論モードと非推論モードを動的に切り替える。 また、GRPOフレームワークに中間管理を組み込んだ強化学習アルゴリズムであるStep-SRPOを提案する。
  論文  参考訳（メタデータ） (2025-07-11T04:07:10Z)
• LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders [23.70714095931094]
  GPU効率の良いリコメンダのための長時間最適化されたtraNsformer。 オフラインのメトリクスとオンラインのA/Bテストでは、一貫して強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-05-07T13:54:26Z)
• FFN Fusion: Rethinking Sequential Computation in Large Language Models [16.8637819797503]
  本稿では,大規模言語モデルにおける逐次計算を減らしたアーキテクチャ最適化手法であるFFN Fusionを紹介する。 我々は、このようなシーケンスを同定し、融合し、それらを並列操作に変換するための、原則化された方法論を開発した。 これらの手法をLlama-3.1-405B-Instructに適用することにより、推論遅延の1.71倍の高速化と、トークンあたりのコストの35倍の削減を実現する、効率的かつ間もなく公開されるモデルを構築する。
  論文  参考訳（メタデータ） (2025-03-24T17:20:35Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。