論文の概要: Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

• arxiv url: http://arxiv.org/abs/2610.31305v1
• Date: Thu, 22 Oct 2026 14:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.396325
• Title: Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
• Title（参考訳）: Cola2: 連続セマンティック圧縮と平衡離散生成による共適応階層型言語モデリング
• Abstract要約: Cola2は、連続的なセマンティック圧縮、再構成と生成のバランス、そして連続的な離散的共適応を研究するフレームワークである。 テキストをセマンティックスパンに分割し、補助的なロスのない負のフィードバックを通じて圧縮率を制御し、再構築と生成の監督を組み合わせることで、コンパクトで予測可能な潜在表現を学ぶ。 約2100億のトレーニングトークンを持つ5つの下流タスクの実験は、コア設計を検証し、競争力があり、不飽和なスケーリングを示す。
• 参考スコア（独自算出の注目度）: 48.683890925882004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical language generation separates continuous semantic modeling from discrete text realization, but its effectiveness depends on what the latent space compresses and how the discrete generator uses it. We propose Cola2, a framework that jointly studies continuous semantic compression, the balance between reconstruction and generation, and continuous-discrete co-adaptation. Cola2 dynamically segments text into semantic spans, controls the compression rate through auxiliary-loss-free negative feedback, and combines reconstruction and generation supervision to learn compact, predictive latent representations. A block-causal masked diffusion decoder is trained with clean, noisy, and dropped latent conditions, while classifier-free guidance adjusts the balance between semantic reconstruction and autonomous generation. Token-prediction gradients update the encoder through the latents, whereas Flow Matching prior learning is decoupled from representation learning by stop-gradient. During inference, generated text is re-encoded under a fixed span layout to keep the latent history consistent with the actual text context. Experiments on five downstream tasks with about 210 billion training tokens validate the core designs and show competitive, unsaturated scaling. With 346.03 billion source tokens, an unconverged checkpoint reaches a 60.10 average across eight tasks and surpasses Llama-3-8B on HellaSwag and StoryCloze despite its reported pretraining budget being over 43 times larger. These results demonstrate the potential of continuous-latent hierarchical language generation.
• Abstract（参考訳）: 階層型言語生成は、連続的なセマンティックモデリングと離散テキストの実現を分離するが、その有効性は、潜在空間が圧縮するものと、離散生成器がそれを使用する方法に依存する。 連続的な意味的圧縮、再構成と生成のバランス、そして連続的な離散的共適応を共同で研究するフレームワークCola2を提案する。 Cola2はテキストをセマンティックスパンに動的に分割し、補助的なロスフリーな負のフィードバックを通じて圧縮率を制御し、再構成と生成の監督を組み合わせることで、コンパクトで予測的な潜在表現を学ぶ。 ブロックカジュアルマスク拡散デコーダは、クリーンでノイズがあり、遅延状態が低下した状態で訓練される一方、分類器なし誘導は意味的再構成と自律生成のバランスを調整する。 Token-prediction gradientsはエンコーダを潜水器を通して更新するが、Flow Matchingの事前学習は停止勾配による表現学習から切り離される。 推論中、生成されたテキストは固定されたスパンレイアウトの下で再エンコードされ、遅延した履歴を実際のテキストコンテキストと一致させる。 約2100億のトレーニングトークンを持つ5つの下流タスクの実験は、コア設計を検証し、競争力があり、不飽和なスケーリングを示す。 346.03億のソーストークンがあり、未収束のチェックポイントは8つのタスクで平均60.10に達し、前トレーニング予算が43倍以上であるにもかかわらず、HellaSwagとStoryClozeのLlama-3-8Bを上回っている。 これらの結果は、連続ラテン系階層型言語生成の可能性を示している。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression [42.15219720606396]
  大規模言語モデルは、明示的な連鎖と強化学習を通じて高い推論性能を達成する。 潜在推論は、計算を潜在空間にシフトすることで、このコストを削減する。 連続潜時状態を明示的な離散トークンに変換する最初の方法である textbfDiscrete Latent Reasoning (DLR) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T02:34:52Z)
• When Latent Geometry Is Not Enough: Draft-Conditioned Latent Refinement for Non-Autoregressive Text Generation [0.0]
  本報告では, 凍結したBERTエンコーダ, 並列デコーダ, およびデノイングDraftPriorから構築したドラフトコンディショニング潜時精錬モデルについて検討する。 ROCStoriesでは、最初の2文をプロンプトとして、最後の3文をターゲットとして、768次元のBERTラテントが圧縮された256次元のラテントよりもはるかによくトークンを回収する。
  論文  参考訳（メタデータ） (2026-05-15T02:53:49Z)
• Continuous Latent Diffusion Language Model [48.974403879186916]
  大規模言語モデルは自己回帰パラダイムの下で顕著な成功を収めた。 既存の代替手段は、生成効率、スケーラブルな表現学習、効果的なグローバルセマンティックモデリングを共同で達成するのに依然として苦労している。 階層型情報分解によりテキスト生成をフレーム化する階層型潜在拡散言語モデルCola DLMを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:44:56Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。