論文の概要: Invariant-Measure Reasoners: Stable Representations for Latent Reasoning

• arxiv url: http://arxiv.org/abs/2610.10996v1
• Date: Wed, 07 Oct 2026 23:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.7011
• Title: Invariant-Measure Reasoners: Stable Representations for Latent Reasoning
• Title（参考訳）: Invariant-Measure Reasoners:Latent Reasoningのための安定表現
• Abstract要約: 潜時推論モデルは、同じ繰り返しブロックを使用して潜時状態を繰り返し更新する。 リカレント深さが増加すると、潜伏状態の列は不動点に必ずしも収束することなく状態空間のコンパクト部分集合に収束する。 既存のモデルは通常、1つの潜伏状態に予測ヘッドを適用することで予測する。 安定表現として不変測度を用いるフレームワークである不変測度推論器(ImR)を導入する。
• 参考スコア（独自算出の注目度）: 4.876446735726356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent reasoning models repeatedly update a latent state using the same recurrent block. As the recurrent depth increases, the sequence of latent states may converge to a compact subset of the state space without necessarily converging to a fixed point. Existing models typically predict by applying a prediction head to a single latent state. However, the latent state can continue to change even after many updates, potentially making predictions unstable across recurrent depths. To address this instability, we introduce invariant-measure reasoners (ImR), a framework that uses an invariant measure as a stable representation. This measure describes the long-run distribution of latent states on the compact subset and is invariant under updates by the recurrent block. ImR predicts from the expectation of the prediction head's output under this measure. We use ImR in two ways: fine-tuning only the prediction head of existing models and training models from scratch. Both approaches reduce prediction instability and improve accuracy in many settings on maze and Sudoku tasks. In some settings, models trained with ImR exhibit non-fixed-point behavior more frequently than existing models yet achieve high accuracy even with such behavior, unlike existing models. These results suggest that ImR can leverage otherwise destabilizing dynamics for latent reasoning.
• Abstract（参考訳）: 潜時推論モデルは、同じ繰り返しブロックを使用して潜時状態を繰り返し更新する。 リカレント深さが増加すると、潜伏状態の列は不動点に必ずしも収束することなく状態空間のコンパクト部分集合に収束する。 既存のモデルは通常、1つの潜伏状態に予測ヘッドを適用することで予測する。 しかし、潜伏状態は多くの更新の後でも変化し続ける可能性があるため、リカレントな深さにわたって予測が不安定になる可能性がある。 この不安定性に対処するために、不変測度を安定表現として利用するフレームワークである不変測度推論器(ImR)を導入する。 この尺度は、コンパクト部分集合上の潜在状態の長期分布を記述し、再帰ブロックによる更新の下で不変である。 ImRは、予測ヘッドの出力の予測から予測する。 既存のモデルの予測ヘッドのみをスクラッチから微調整すること。 どちらのアプローチも、迷路や数独のタスクにおける予測不安定を減らし、精度を向上させる。 一部の設定では、ImRでトレーニングされたモデルは、既存のモデルよりも非固定点挙動が頻繁に現れるが、既存のモデルとは異なり、そのような振る舞いであっても高い精度が得られる。 これらの結果は、ImRが非定常推論に不安定な力学を活用できることを示唆している。

関連論文リスト

• Robustness of Deep Learning Models for PV Power Forecasting under NWP Forecast Errors: A Spatiotemporal and Physically Interpretable Analysis [3.9240875898929737]
  本研究では,シミュレーションに基づく物理的拘束力評価フレームワークを提案する。 仮想PVパワーを制御応答変数として使用し、プラントレベルの共同設立者からの入力不確実性の伝播を分離する。 その結果,中～高次乱れ条件下での強いベースラインよりも,シーケンスモデルの方が強いノイズフィルタリングと時間的レジリエンスを提供することがわかった。
  論文  参考訳（メタデータ） (2026-07-14T16:48:07Z)
• RainODE: Continuous-Time Precipitation Forecasting with Latent Neural ODEs [31.6943694848236]
  RainODEは、Neural ODEを使用して潜在空間の降水進化をモデル化するフレームワークである。 この定式化により、微分整合時間力学が実現され、降水系の大規模対流運動が支配的となる。 ブラウン橋に基づく震源モデリングモジュールは、微細な構造を保ちながら残留強度の変動を復元する。
  論文  参考訳（メタデータ） (2026-06-29T06:48:02Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• SimDiff: Simpler Yet Better Diffusion Model for Time Series Point Forecasting [8.141505251306622]
  拡散モデルは近年,時系列予測において有望であることが示されている。 それらはしばしば最先端のポイント推定性能を達成するのに失敗する。 ポイント推定のための一段階のエンドツーエンドフレームワークであるSimDiffを提案する。
  論文  参考訳（メタデータ） (2025-11-24T16:09:55Z)
• SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
  本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。 第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-10-22T16:11:22Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Robust Counterfactual Explanations for Neural Networks With Probabilistic Guarantees [11.841312820944774]
  我々は、微分可能なモデルに対する潜在的なモデル変更に対する反ファクトの堅牢性を定量化するために、 $textitStability$ と呼ぶ尺度を提案します。 私たちの主な貢献は、十分高い値のtextitStability$の反ファクトが、高い確率でポテンシャルモデルが変化した後も有効であることを示すことです。
  論文  参考訳（メタデータ） (2023-05-19T20:48:05Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。