論文の概要: NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
- arxiv url: http://arxiv.org/abs/2609.10715v1
- Date: Wed, 09 Sep 2026 18:12:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.105235
- Title: NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
- Title（参考訳）: NCP-Archテクニカルレポート:次世代概念予測による潜在宇宙言語モデルへの移行
- Abstract要約: NCP-ArchPreviewは、標準のNext-token Prediction(NTP)を超えた自己回帰事前学習を促進する潜在空間言語モデルである。
NCP-ArchPreviewは、製品量化された概念語彙をその隠れ状態から直接構築することで潜在空間を構築し、その後、専用の概念モジュールを通じて将来の概念を予測することを学ぶ。
私たちはこのアーキテクチャを8.9Bパラメータに拡張し、Dolma-3データセットから5.73Tトークンでトレーニングします。
- 参考スコア（独自算出の注目度）: 76.38136259305638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce NCP-ArchPreview, a latent-space language model that pushes autoregressive pretraining beyond standard next-token prediction (NTP). Alongside NTP, the model learns through Next Concept Prediction (NCP) to predict discrete concepts that span multiple tokens, introducing an explicit and more challenging concept-level objective while preserving standard token-level autoregressive generation. NCP-ArchPreview builds a latent space by constructing a product-quantized concept vocabulary directly from its hidden states, and subsequently learns to predict future concepts via a dedicated Concept Module. These predicted concepts are then fed back to the token level to guide subsequent generation, with NTP and NCP trained jointly end-to-end. We scale this architecture to 8.9B parameters and train it on 5.73T tokens from the Dolma-3 dataset, marking the largest demonstration of a latent-space language model to date. Remarkably, by consuming only 51.3% of the total training tokens, NCP-ArchPreview achieves the final pretraining loss of OLMo-3-7B. Following full pretraining, it outperforms OLMo-3-7B by 2.45 points on the downstream macro-average, including a notable 5.99-point gain on GSM8K. Controlled experiments isolate a clear progression of performance gains stemming from both the latent architecture and the NCP objective. Furthermore, utilizing only 85% of the standard computation, NCP-ArchPreview approaches the training loss of a strictly parameter-aligned 8.9B baseline. The learned latent space remains highly valuable after the pretraining stage: updating just the 17M-parameter VQ module yields a novel, lightweight interface for domain adaptation, while a simple injection of concept representations into a DFlash2 drafter improves the mean accepted length by 4.17% with negligible overhead.
- Abstract（参考訳）: NCP-ArchPreviewは、標準の次世代予測(NTP)を超えた自己回帰事前学習を促進する潜在空間言語モデルである。
NTPとともに、モデルはNext Concept Prediction (NCP)を通じて学習し、複数のトークンにまたがる離散的な概念を予測する。
NCP-ArchPreviewは、製品量化された概念語彙をその隠れ状態から直接構築することで潜在空間を構築し、その後、専用の概念モジュールを通じて将来の概念を予測することを学ぶ。
これらの予測された概念はトークンレベルにフィードバックされ、 NTP と NCP はエンドツーエンドでトレーニングされる。
私たちはこのアーキテクチャを8.9Bパラメータに拡張し、Dolma-3データセットから5.73Tトークンでトレーニングします。
興味深いことに、トレーニングトークン全体の51.3%しか消費していないため、NCP-ArchPreviewはOLMo-3-7Bの最終的な事前トレーニング損失を達成している。
完全な事前訓練の後、OLMo-3-7Bは下流のマクロ平均で2.45ポイント向上し、GSM8Kでは5.99ポイント上昇した。
制御された実験は、潜在アーキテクチャとNCPの目的の両方から生じる性能向上の明確な進行を分離する。
さらに、標準計算の85%しか利用していないNAP-ArchPreviewでは、厳密なパラメータ整合8.9Bベースラインのトレーニング損失にアプローチしている。
17MパラメータのVQモジュールだけを更新すれば、ドメイン適応のための新しい軽量インターフェースが得られ、DFlash2ドラフトに概念表現を注入することで、平均許容長が4.17%向上する。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Aftab: A Comprehensive Benchmark of CNN Encoders and Advanced Value Functions in Parallelized Q-Networks [2.179313476241343]
本稿では,並列化Q-Network (PQN) アルゴリズムにおけるコナールニューラルネットワークのアーキテクチャ設計空間について検討する。
本研究では,Hadamax符号化パラダイムをカテゴリ,アンサンブル,デュエルの値ヘッドと組み合わせることで,乗法的表現学習と高度な値推定の効果について検討する。
その結果, 並列化・再生不要なQ-ラーニングフレームワークにおいて, エンコーダトポロジ, 乗法的特徴相互作用, 高度な値推定ヘッドは, 性能を著しく向上させることができることを示した。
論文 参考訳（メタデータ） (2026-08-07T15:29:15Z) - NITP: Next Implicit Token Prediction for LLM Pre-training [62.744626632562664]
本研究では,表現空間に直接集中的監督を施した離散予測を増大させるために,Next Implicit Token Prediction (NITP)を提案する。
NITPは、安定な自己教師対象と同じモデルから浅層表現を用いて、次のトークンの暗黙的なセマンティック内容を予測するようにモデルを訓練する。
実験的には、0.5Bから9Bのパラメータを含む高密度モデルとMoEモデルにまたがって、NITPは無視できる計算オーバーヘッドでダウンストリーム性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-05-24T09:13:12Z) - Rethinking Point Clouds as Sequences: A Causal Next-Token Predictive Learning Framework [31.937606388374885]
我々は、ポイントクラウド事前学習を、完全に因果的かつデコーダのない潜伏型次世代予測問題として再構成するPointNTPを紹介した。
提案されたPointNTPは、複数のダウンストリームタスクで非常に競争力がある。
論文 参考訳（メタデータ） (2026-05-17T17:54:55Z) - Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models [62.054835560934066]
Next Concept Predictionは、Next Token Predictionの上に構築された、ジェネレーティブな事前学習パラダイムである。
我々のモデルであるConceptLMは、ベクトル量子化を用いて隠れ状態の定量化を行い、概念語彙を構築する。
13のベンチマークの結果、NCPは従来のトークンレベルのモデルよりも一貫したパフォーマンス向上をもたらすことが示された。
論文 参考訳（メタデータ） (2026-02-09T18:33:31Z) - ConceptMoE: Adaptive Token-to-Concept Compression for Implicit Compute Allocation [12.503747711792679]
ConceptMoEは意味的に類似したトークンを概念表現に動的にマージする。
学習可能なチャンクモジュールは、トークン間の類似度を測定して最適な境界を識別する。
ConceptMoE は言語および視覚言語タスクで標準 MoE を一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-29T08:58:22Z) - Next-Embedding Prediction Makes Strong Vision Learners [68.55755328850634]
モデルをトレーニングして埋め込みを生成し、予測タスクを直接実行します。
Next-Embedding Predictive Autoregression (NEPA)はタスク間で強力な結果をもたらす。
埋め込みから生成する事前学習は、視覚的な自己教師型学習に代わる、シンプルでスケーラブルで、潜在的にモダリティに依存しない代替手段を提供する、と私たちは信じています。
論文 参考訳（メタデータ） (2025-12-18T18:59:58Z) - RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。
このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。
特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
論文 参考訳（メタデータ） (2025-09-26T17:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。