論文の概要: Hierarchical Latent Prediction for Language Models

• arxiv url: http://arxiv.org/abs/2608.05806v1
• Date: Thu, 06 Aug 2026 09:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.735472
• Title: Hierarchical Latent Prediction for Language Models
• Title（参考訳）: 言語モデルの階層的潜在予測
• Abstract要約: 階層的潜時予測(HiLP)は、潜時空間のロールアウトにおける誤差蓄積効果を低減する補助的な高レベル抽象潜時予測である。 HiLPは、より水平なコヒーレントな状態表現につながり、符号化および多段階推論ベンチマークによる手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 14.925286273360598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While standard Next-Token Prediction (NTP) lays the foundation of language model pre- training, its teacher-forced training paradigm may not be optimal for long-horizon reasoning and planning. Recent works such as Multi-Token Prediction (MTP) and Next-Latent prediction (NextLat) try to mitigate the problem through predicting multiple future tokens and self-supervised prediction in the latent space. However, those auxiliary objectives either have a limited horizon or suffer from compounding error from multi-step rollout. We introduce Hierarchical Latent Prediction (HiLP), which introduces an auxiliary higher-level abstract latent to help reduce the error accumulation effect in latent-space rollouts. Experiments show that HiLP can lead to longer-horizon coherent belief state representation and demonstrate the effectiveness of our method across coding and multi-step reasoning benchmarks, and offers more speculative decoding efficiency.
• Abstract（参考訳）: 標準のNext-Token Prediction (NTP) は言語モデル事前訓練の基礎を成すが、教師による訓練パラダイムは長期の推論や計画に最適ではないかもしれない。 MTP(Multi-Token Prediction)やNext-Latent Prediction(NextLat)といった最近の研究は、複数の未来のトークンを予測し、潜在空間における自己監督的な予測によって問題を緩和しようとしている。 しかし、これらの補助的な目的は、限られた水平線を持つか、多段ロールアウトによる複合的なエラーに悩まされる。 階層型遅延予測 (HiLP) を導入し, 遅延空間のロールアウトにおけるエラー蓄積効果を低減するために, 補助的な高レベル抽象潜時を導入している。 実験により、HiLPはより水平なコヒーレントな状態表現につながり、符号化および多段階推論ベンチマークによる手法の有効性を実証し、より投機的な復号効率を提供することが示された。

関連論文リスト

• Learning with Foresight: Enhancing Neural Routing Policy via Multi-Node Lookahead Prediction [53.32115440294569]
  マルチノードルックアヘッド予測(MnLP)は、教師付き学習パラダイムを拡張して、複数の将来のノードを同時に予測する、新しいトレーニング戦略である。 筋電図の因果関係や破棄可能なMnLPモジュールをトレーニング中にのみ動作させ,コンテキストモデルによる多段階決定の予測を容易にする。 MnLPは既存のトレーニング手法より優れており、さまざまな問題サイズ、分布、実世界のベンチマークにわたるニューラルネットワークの一般化能力が改善されている。
  論文  参考訳（メタデータ） (2026-05-19T15:19:59Z)
• Possibilistic Predictive Uncertainty for Deep Learning [75.00607359322863]
  Dirichlet-approximated possibilistic rear predictions (DAPPr)を紹介する。 DAPPrは可能性理論を利用した原則的なフレームワークである。 この射影近似戦略は閉形式解を用いた単純な訓練目標を与える。
  論文  参考訳（メタデータ） (2026-05-01T12:14:01Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Reinforcement Learning with Imperfect Transition Predictions: A Bellman-Jensen Approach [24.85612231267623]
  伝統的な強化学習では、エージェントは1段階の遷移モデルでマルコフ決定プロセス(MDP)に基づいて決定を行う。 エネルギー管理や株式投資のような現実世界の多くのアプリケーションでは、エージェントは将来の状態の多段階予測にアクセスできる。 本稿では,オフラインベイズ値学習を軽量なオンライン適応からリアルタイム予測へ分離する2段階モデルベースRLアルゴリズムBOLAを紹介する。
  論文  参考訳（メタデータ） (2025-10-21T14:47:08Z)
• Beyond Multi-Token Prediction: Pretraining LLMs with Future Summaries [35.39150917025755]
  将来の要約予測(FSP)は、長期的な未来のコンパクトな表現を予測するために補助ヘッドを訓練する。 FSPは数学、推論、コーディングベンチマークで NTP と MTP の両方の改善を提供する。
  論文  参考訳（メタデータ） (2025-10-16T14:52:52Z)
• Next-Token Prediction Should be Ambiguity-Sensitive: A Meta-Learning Perspective [12.655285605773932]
  我々は,トランスフォーマーがモデルサイズ全体にわたって高いあいまいさの予測に苦慮していることを示す。 予備的な結果は、キャパシティアロケーションの改善とテストタイムのスケーラブルな推論を通じて、あいまいな文脈でかなりの増加を示す。
  論文  参考訳（メタデータ） (2025-06-19T13:05:12Z)
• L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models [95.53699156138435]
  本稿では,革新的なトークン予測手法である跳躍マルチトークン予測(L-MTP)を提案する。 従来のMTPとは異なり、L-MTPは中間トークンを戦略的にスキップし、1つのフォワードパスで非逐次トークンを予測する。 理論的には,L-MTPによる推論効率の向上の利点を実証する。
  論文  参考訳（メタデータ） (2025-05-23T05:59:46Z)
• Efficient Joint Prediction of Multiple Future Tokens [20.647830092055955]
  本稿では,JTP(Joint Multi-token Prediction)を導入する。 従来のマルチトークン予測手法とは異なり、JTPは将来トークンの教師強制を戦略的に採用している。 本稿では,JTP手法が短時間の信念状態表現を実現するのに対して,マルチトークン予測の一般的な代替手段では実現できないことを示す。
  論文  参考訳（メタデータ） (2025-03-24T19:52:42Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Aligned Contrastive Predictive Coding [10.521845940927163]
  対照的予測損失を用いて訓練された自己監督モデルが、ゆっくりと変化する潜在表現を抽出する可能性を研究する。 将来の表現ごとに個別の予測を生成するのではなく、モデルはそれらが整列する次の表現よりも短い一連の予測を出力する。
  論文  参考訳（メタデータ） (2021-04-24T13:07:22Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。