論文の概要: Training and Inference Dynamics of PLDR-LLMs: Row-Map Collapse, Renormalization, and Predictive Reduction
- arxiv url: http://arxiv.org/abs/2609.34130v1
- Date: Mon, 28 Sep 2026 02:08:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 06:42:50.717064
- Title: Training and Inference Dynamics of PLDR-LLMs: Row-Map Collapse, Renormalization, and Predictive Reduction
- Title（参考訳）: PLDR-LLMのトレーニングと推論ダイナミクス:ローマップ崩壊、再正規化、予測還元
- Abstract要約: モノグラフは、パワーロー・デコーダ表現言語モデル(PLDR-LLM)におけるトレーニングと推論の統一的な説明を開発する
厳密な有限作業恒等性は、行中心の学習マップの絶対エネルギーの変化をパラメータ寄与、署名された相互作用、数値的な観察欠陥に分解する。
実験では、オブザーバと依存を明らかにし、テストされた自律行状態候補を拒否し、有限条件予測と状態固有の演算子還元をサポートする。
- 参考スコア（独自算出の注目度）: 0.5076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This monograph develops a unified account of training and inference in Power Law Decoder Representation language models (PLDR-LLMs). Exact finite work identities decompose changes in the absolute energy of the row-centered learned map into parameter contributions, signed interactions, and numerical observation defects. Positive affine blocking retains restarts at the row-constant face, while the augmented AdamW state supplies the complete dynamical description. Predictive renormalization acts on the complete conditional training law for a single pass over distinct corpus target blocks, retaining optimizer memory, remaining data, schedule, and numerical policy. Autonomous reductions require closure; approximate reductions carry successor and emission errors. Finite-population covariance, matched physical clocks, matrix fluxes, and signed temporal energy connect row dynamics to model-wide observations. Absolute row collapse, relative row concentration, operator stabilization, and predictive accuracy are distinguished. Experiments reveal observer and optimizer dependence, reject the tested autonomous row-state candidates, and support finite conditional prediction and state-specific operator reduction. Independent single-pass families exhibit moving finite fluctuation regions without establishing a thermodynamic critical class. Conditional symmetry, head limits, covariance flows, and readout error budgets specify assumptions needed to transfer scaling laws to inference. The theory separates exact identities, conditional dynamical claims, and finite empirical findings, with proofs, selected formal checks, and compact numerical evidence.
- Abstract（参考訳）: このモノグラフは、PLDR-LLM(Power Law Decoder Representation Language Model)において、トレーニングと推論を統一的に記述する。
厳密な有限作業恒等性は、行中心の学習マップの絶対エネルギーの変化をパラメータ寄与、署名された相互作用、数値的な観察欠陥に分解する。
正のアフィンブロッキングは行コンスタントな面で再起動し、強化されたAdamW状態は完全な動的記述を提供する。
予測的再正規化は、異なるコーパスターゲットブロック上の1つのパスに対する完全な条件付きトレーニング法に作用し、オプティマイザメモリ、残ったデータ、スケジュール、数値ポリシーを保持する。
自律的な削減には閉鎖が必要であり、近似的な削減には後継と排出エラーが伴う。
有限人口共分散、一致した物理時計、行列束、および符号付き時間エネルギーは、行ダイナミクスとモデルワイド観測を結合する。
絶対行崩壊、相対行濃度、オペレータ安定化、予測精度を区別する。
実験では、オブザーバとオプティマイザ依存を明らかにし、テストされた自律行状態候補を拒否し、有限条件予測と状態固有演算子還元をサポートする。
独立なシングルパス族は、熱力学的臨界クラスを確立することなく、動く有限なゆらぎ領域を示す。
条件対称性、上限、共分散フロー、読み出し誤差予算は、スケーリング法則を推論に転送するために必要な仮定を規定する。
この理論は、証明、選択された形式的小切手、コンパクトな数値的証拠とともに、正確な同一性、条件的力学的主張、有限経験的発見を分離する。
関連論文リスト
- Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。
そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。
制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
論文 参考訳（メタデータ） (2026-08-20T13:59:57Z) - Discrete energy as an exact label-free training objective for finite-element surrogates [0.8125368885437911]
このノートは、証明とともに、このシグナルを線形エラストスタットに正確に示すアイデンティティを記録している。
硬度ノルムにおけるラベルのない離散エネルギー最小化と教師付き回帰は、各点で同じ一意な最小化と同一の勾配を持つ。
論文 参考訳（メタデータ） (2026-08-05T22:15:38Z) - Relational Quantum Causal Processes: Exact Models, Continuum Limits, and the Boundary of Emergent Gravity [0.875682288556859]
確立されたメカニズム,条件付き構成,オープンな仮定を分離する枠組みを提案する。
CP-QGは、確立されたメカニズム、条件付き構成、オープンな仮定を分離する顕微鏡インデクシングフレームワークである。
論文 参考訳（メタデータ） (2026-07-29T09:28:18Z) - Stochastic Counterdiabatic Driving via Biorthogonal Liouvillian Eigenmodes [42.668742604089324]
エスコレートされた自由エネルギーシミュレーションは、ラグを除去するエンジニアリング制御フィールド$mathbfu$による非断熱的なラグに対処する。
一般化座標変換の代わりにゲージ型変換に基づく相補的な数値的枠組みを構築する。
非断熱ラグを約12桁の精度で抑えることにより, 逆断熱条件が機械精度に満足していることが示される。
論文 参考訳（メタデータ） (2026-07-27T13:08:14Z) - Faithful Embeddings of Irregular and Asynchronous Data for Online Log-NCDEs [43.7379426352196]
補間および計算に基づく埋め込みは、連続的な観測経路を再構築する。
軽度条件下では, この再建は不要であることを示す。
連続時間モデルの普遍クラスであるLog-NCDEに対して,連続的かつインジェクティブな埋め込みを導入する。
論文 参考訳（メタデータ） (2026-05-28T16:46:11Z) - State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。
低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。
我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
論文 参考訳（メタデータ） (2026-02-02T15:00:42Z) - Causal Imitation Learning Under Measurement Error and Distribution Shift [6.038778620145853]
ノイズ測定によってのみ、決定関連状態の一部が観察される場合、オフライン模倣学習(IL)について検討する。
本稿では,変数間の因果関係を明示的にモデル化することによって,測定誤差下でのILの一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-29T18:06:53Z) - Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse [3.533187668612022]
本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。
我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
論文 参考訳（メタデータ） (2025-12-16T19:50:03Z) - Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。
この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。
バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
論文 参考訳（メタデータ） (2025-11-26T20:02:59Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。