論文の概要: Semantic Step Prediction: Multi-Step Latent Forecasting in LLM Reasoning Trajectories via Step Sampling

• arxiv url: http://arxiv.org/abs/2604.18464v1
• Date: Mon, 20 Apr 2026 16:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.988502
• Title: Semantic Step Prediction: Multi-Step Latent Forecasting in LLM Reasoning Trajectories via Step Sampling
• Title（参考訳）: 意味的ステップ予測:ステップサンプリングによるLLM推論軌道におけるマルチステップ遅延予測
• Authors: Yidi Yuan,
• Abstract要約: セマンティックチューブ予測(STP)は、幾何学的表現を利用して、微調整中に隠れた軌道を局所線型測地線に向けて規則化する。 サンプリング位置が多段階推論のセマンティック構造をさらに強化できるかどうかを検討する。 その結果, サンプリング位置を幾何正則化における臨界変数として同定し, この手法の新たな評価基準として多段階潜時予測MSEを確立した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic Tube Prediction (STP) leverages representation geometric to regularize LLM hidden-state trajectories toward locally linear geodesics during fine-tuning, thereby greatly improving data efficiency. The original STP recipe samples random token sub-spans, which is compatible with the base large language model (LLM) training architecture. Inspired by STP, we are interested to investigate whether the sampling position can further enhance the semantic structure of multi-step reasoning, and hence affect its geometric impact. We applied STP at consecutive semantic reasoning step boundaries and achieved 168x more accurate multi-step latent prediction than frozen baselines on ProcessBench (3,400 samples), compared to only 4x for the random-token STP. Probing the latent manifold with a learned non-linear predictor reveals that STP-shaped trajectories are smooth curves, not straight lines: a 3-layer MLP reduces prediction error by a further 3-12x over linear extrapolation on step-boundary models. Removing the language modeling loss yields trajectories that are 2x more MLP-predictable than the combined loss, revealing a tradeoff between generation quality and geometric purity. Our results identify sampling position as the critical variable in geometric regularization and establish multi-step latent prediction MSE as a new evaluation metric for this class of methods.
• Abstract（参考訳）: セマンティックチューブ予測(STP)は、表現幾何学を利用して、微調整中にLLMの隠れ状態軌道を局所線型測地線に調整し、データ効率を大幅に改善する。 オリジナルのSTPレシピでは、ベースとなる大規模言語モデル(LLM)のトレーニングアーキテクチャと互換性のあるランダムトークンのサブスパンをサンプリングしている。 STPに触発されて、サンプリング位置が多段階推論のセマンティック構造をさらに強化し、従ってその幾何学的影響に影響を与えるかどうかを考察することに興味がある。 我々はSTPを連続的意味推論ステップ境界に適用し,ProcessBenchの凍結ベースライン(3,400サンプル)よりも168倍精度の高いマルチステップ遅延予測を実現した。 学習された非線形予測器で潜在多様体を求めると、STP形状の軌道は直線ではなく滑らかな曲線であることが分かる。 言語モデリング損失を除去すると、複合損失の2倍のMLP予測可能な軌道が得られ、生成品質と幾何学的純度とのトレードオフが明らかになる。 その結果, サンプリング位置を幾何正則化における臨界変数として同定し, この手法の新たな評価基準として多段階潜時予測MSEを確立した。

関連論文リスト

• Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
  本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。 合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善 DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
  論文  参考訳（メタデータ） (2026-02-03T23:38:05Z)
• On Procrustes Contamination in Machine Learning Applications of Geometric Morphometrics [0.0]
  Geometric morphometrics (GMM) は形状変化の定量化に広く用いられ、最近では機械学習(ML)解析の入力として使われている。 標準のプラクティスは、データをトレーニングとテストセットに分割する前に、すべての標本を一般化プロクリスト分析(GPA)を介して整列させる。 ここでは、制御された2次元および3次元シミュレーションを用いて、GPAによる汚染の影響を正式に特徴づける。
  論文  参考訳（メタデータ） (2026-01-26T12:56:23Z)
• Spectral Thresholds in Correlated Spiked Models and Fundamental Limits of Partial Least Squares [15.163541835643635]
  本稿では,PLS(Partial Least Squares)が原理的に検出可能であるにもかかわらず,信号の回復に失敗したことを示す。 これらの結果はPLSの理論的限界を明らかにし、高次元の信頼性マルチモーダル推論手法の設計のためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-20T14:08:58Z)
• Efficiently Generating Correlated Sample Paths from Multi-step Time Series Foundation Models [66.60042743462175]
  時系列基礎モデルから正確な相関サンプルパスを効率的に生成するためのコプラに基づく手法を提案する。 提案手法は, 自己回帰サンプリングよりもはるかに高速に相関したサンプルパスを生成する。
  論文  参考訳（メタデータ） (2025-10-02T17:08:58Z)
• Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods [0.38233569758620045]
  ニューラルネットワークに基づく条件密度推定器を用いて適応的に提案されたシミュレーションから後部を学習することを目的とする。 Greenbergらによって提案された自動後部変換(APT)法は,高レベルのランタイムデータに対して良好に動作し,スケールする。 本稿では,APTをネスト推定問題として再検討する。 損失関数とその勾配に対するマルチモンテカルロ (MLMC) 推定器を構築し, 異なるシナリオに対応する。
  論文  参考訳（メタデータ） (2024-01-30T06:29:41Z)
• One at a Time: Progressive Multi-step Volumetric Probability Learning for Reliable 3D Scene Perception [59.37727312705997]
  本稿では,複雑な3次元ボリューム表現学習を生成段階の列に分解することを提案する。 強力な生成拡散モデルにより達成された最近の進歩を考えると、我々はVPDと呼ばれる多段階学習フレームワークを導入する。 SSCタスクでは、Semantic KITTIデータセット上でLiDARベースのメソッドを初めて越える作業として際立っている。
  論文  参考訳（メタデータ） (2023-06-22T05:55:53Z)
• Diffeomorphic Mesh Deformation via Efficient Optimal Transport for Cortical Surface Reconstruction [40.73187749820041]
  メッシュ変形は、動的シミュレーション、レンダリング、再構成を含む多くの3次元視覚タスクにおいて重要な役割を果たす。 現在のディープラーニングにおける一般的なアプローチは、2つのメッシュからランダムにサンプリングされた2つの点雲とシャンファーの擬似距離を比較することで、2つの面間の差を測定するセットベースアプローチである。 本稿では,メッシュのスライスされたワッサーシュタイン距離を,セットベースアプローチを一般化する確率測度として表現したメッシュ変形の学習指標を提案する。
  論文  参考訳（メタデータ） (2023-05-27T19:10:19Z)
• Adaptive neighborhood Metric learning [184.95321334661898]
  適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。 本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
  論文  参考訳（メタデータ） (2022-01-20T17:26:37Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。