論文の概要: What to Preserve in Recursive Computation: A Local Predictive Sufficiency Principle
- arxiv url: http://arxiv.org/abs/2610.04303v1
- Date: Sat, 03 Oct 2026 05:33:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:43:09.66845
- Title: What to Preserve in Recursive Computation: A Local Predictive Sufficiency Principle
- Title(参考訳): 再帰的計算の保存方法:局所的予測的十分原理
- Abstract要約: 再帰的予測閉鎖を伴う局所的予測効率を同定する。
個々のインタフェースにおける局所的な予測欠陥の制御は、ルートにおける結果の相違を制御する。
タスクに依存しない予測保存の原則が4つの設定すべてにわたってインスタンス化されていることを示す。
- 参考スコア(独自算出の注目度): 24.035750607284054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recursive computation repeatedly compresses or reuses intermediate states, creating a simple tension: information that must remain useful across longer recursive paths is also exposed to more opportunities for loss before reaching the final prediction. Existing reconstruction or local-prediction objectives provide tractable supervision, but do not ensure that the retained information remains sufficient for subsequent recursive computation. We identify local predictive sufficiency with recursive predictive closure: controlling local predictive deficiencies at individual interfaces controls the resulting discrepancy at the root. We then turn this principle into a tractable training procedure. Starting from a variational characterization, we derive finite predictive tests and an empirical predictive deficiency that measures predictive value retained across compression. Its predictive sensitivities define margin-relaxed half-space constraints on parameter updates, and we project the host optimizer's proposed update onto their intersection only when predictive preservation would otherwise be violated. Across temporal graphs, language memory, vision-language-action control, and recursive self-improvement, the method matches or improves the corresponding host models under matched compression budgets, with larger gains under heavier recursive or memory demands, while better preserving predictive information across successive transformations. Crucially, the same task-agnostic predictive-preservation principle is instantiated across all four settings through host-compatible interventions while keeping the endpoint task, backbone, and evaluation protocol fixed. These results establish predictive preservation at recursive interfaces as a general training principle for recursive compression.
- Abstract(参考訳): 再帰的計算は、中間状態を繰り返し圧縮または再利用し、単純な緊張を生み出す:長い再帰的経路で有用でなければならない情報は、最終的な予測に達する前により多くの損失の機会に晒される。
既存の再構築や局所予測の目的は、トラクタブルな監視を提供するが、保持された情報がその後の再帰的な計算に十分であるかどうかを保証しない。
我々は,局所的な予測的クロージャによる局所的な予測的満足度を同定し,各インタフェースにおける局所的な予測的欠陥の制御が根における結果の相違を制御している。
そして、この原則を牽引可能なトレーニング手順に変換する。
変動特性から始めると、有限予測テストと、圧縮にわたって保持される予測値を測定する経験的予測不足を導出する。
その予測感度は、パラメータ更新におけるハーフスペースの辺りの制約を定義し、予測保存に違反した場合のみ、ホストオプティマイザの提案した更新を交点に投影する。
時間グラフ、言語記憶、視覚-言語-行動制御、再帰的自己改善を通じて、この手法は、一致した圧縮予算の下で対応するホストモデルと一致または改善し、より重い再帰的またはメモリ要求の下でより大きなゲインを得るとともに、連続的な変換における予測情報をよりよく保存する。
重要なことに、同じタスク非依存の予測保存原則は、エンドポイントタスク、バックボーン、評価プロトコルを固定しながら、ホスト互換の介入を通じて、4つの設定すべてにわたってインスタンス化される。
これらの結果は、再帰的圧縮の一般的なトレーニング原理として、再帰的インタフェースにおける予測保存を確立する。
関連論文リスト
- Proper Scoring Rule-based Diffusion for Probabilistic Weather Forecasting [59.015610520217734]
我々は,コンテキストとその劣化バージョンから,同じ将来状態を予測できる補助的条件記述タスクを導入する。
推測時には、予測器は、完全に破損したエンドポイントにおいて、単一の前方通過で各アンサンブル部材を生成することができる。
論文 参考訳(メタデータ) (2026-09-29T22:47:10Z) - SCOPE: Observation-Conditioned Full-Target Prediction for Sparse PDE Inference [38.94536797306049]
スパース観測から完全PDEフィールドを復元するためのSCOPE(Sparse-Context Observability-aware Predictive Embeddings)を提案する。
共有デコーダは、予測と完全ビューの両方の表現からフィールドを再構成し、表現学習を物理回復と潜在マッチングの両方でガイドする。
論文 参考訳(メタデータ) (2026-09-29T02:19:19Z) - Why the Brain Consolidates: Predictive Forgetting for Optimal Generalisation [17.21440333827574]
高容量新皮質ネットワークは,予測的忘れ込みによる複雑性の低減により,記憶された表現を一般化するために最適化することを示す。
予測的忘れは、記憶された表現に対する情報理論の一般化境界を形式的に改善することを示す。
論文 参考訳(メタデータ) (2026-03-05T00:03:05Z) - Loss-Controlling Calibration for Predictive Models [5.51361762392299]
交換可能なデータに対する損失制御予測を行うための予測モデルの校正のための学習フレームワークを提案する。
対照的に、損失制御手法によって構築された予測器は、設定された予測器に限らない。
提案手法は,選択的回帰および高影響気象予報問題に適用する。
論文 参考訳(メタデータ) (2023-01-11T09:44:55Z) - Reducing Predictive Feature Suppression in Resource-Constrained
Contrastive Image-Caption Retrieval [65.33981533521207]
我々は、リソース制約のあるICR手法における予測的特徴抑圧を減らすアプローチを提案する:潜在目標デコーディング(LTD)
LTDは、汎用文エンコーダの潜時空間で入力キャプションを再構成し、画像及びキャプションエンコーダが予測的特徴を抑制するのを防止する。
実験の結果,入力空間における入力キャプションの再構成とは異なり,LTDはリコール@k,r精度,nDCGスコアを高くすることで,予測的特徴抑制を低減できることがわかった。
論文 参考訳(メタデータ) (2022-04-28T09:55:28Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳(メタデータ) (2022-02-14T16:42:16Z) - Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
本稿では、因果的観点からの包括的ミニマックス分析について述べる。
最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。
本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
論文 参考訳(メタデータ) (2021-07-05T09:07:29Z) - Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。
原空間における予測は、前像問題の解法により計算される。
本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文 参考訳(メタデータ) (2020-07-29T09:32:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。