論文の概要: Thermodynamics of Learning: A Typed Four-Component Accounting of Memory, Fit, and Value
- arxiv url: http://arxiv.org/abs/2608.12791v1
- Date: Thu, 13 Aug 2026 03:52:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.39316
- Title: Thermodynamics of Learning: A Typed Four-Component Accounting of Memory, Fit, and Value
- Title(参考訳): 学習の熱力学: 記憶、フィット、価値の4成分型会計
- Abstract要約: 有限学習装置が記録したものと将来のタスクで値を保持するものは、同じ量ではないことを示す。
トレーニング側適合関数$_mathrmfit$、レコード相関ストック$J_D=I(M;D)$、更新側検索台帳$_M$、運用資本価値$V(M;T,b)$の4つのコンポーネントを分離する有限状態学習装置の型付き会計を開発する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What a finite learning device has recorded and what will hold value for it on future tasks are not the same quantity. We develop a typed accounting for finite-state learning devices that separates four components: a training-side fit functional $Φ_{\mathrm{fit}}$, the record-correlation stock $J_{D}=I(M;D)$, an update-side search ledger $σ_{M}$, and an operational capital value $V(M;T,b)$. This value is the work gap between an informed protocol class and a blind class obtained by deleting the memory-read port and re-optimizing from scratch. (I) Separation: for every $n$, there is a device family on which record correlation and world correlation grow by $n\ln 2$ while the capital gain is exactly zero. In the $\mathrm{flat}^{*}$ regime, data-free updates never increase $V$. (II) Capitalization ledger: an exact $\mathrm{flat}^{*}$ extraction identity and a universal ledger identity give, for (F5$'$)-stable $M$-local updates under a no-discarded-record-correlation condition (f), the bound $η_{\mathrm{cap}}\le 1$ for the capitalization efficiency $η_{\mathrm{cap}}=ΔV/(k T\,σ_{M})$, together with necessary and sufficient conditions for equality. (III) Value retention: for the retention gap $L_{\mathrm{gen}}$ and retention ratio $ρ_{\mathrm{gen}}$ (the former carries no sign constraint; the latter is defined for positive training-side value and is not confined to $[0,1]$) we give a two-layer alignment domain: an exact exchange rate between value and the side-information-adjusted record fit $I(M';D\mid Y)$ without any record-side-information independence assumption, and a raw record-stock exchange rate under a joint side-information neutrality condition $(M,D)\perp Y$, whose boundary is marked by an explicit one-time-pad witness. These are statements about finite-device value retention under task-distribution shift, not a theory of statistical generalization.
- Abstract(参考訳): 有限学習デバイスが記録したものと、将来のタスクでその価値を保持するものは、同じ量ではない。
トレーニング側適合関数 $ _{\mathrm{fit}}$, レコード相関ストック $J_{D}=I(M;D)$, 更新側探索台帳 $σ_{M}$, 運用資本値 $V(M;T,b)$ の4つのコンポーネントを分離する有限状態学習装置の型付き会計を開発する。
この値は、インフォメーションプロトコルクラスと、メモリ読み取りポートを削除し、スクラッチから再最適化したブラインドクラスとの間の作業ギャップである。
(I)分離:$n$ごとに、記録相関と世界相関が$n\ln 2$に増加し、資本ゲインが正確にゼロとなるデバイスファミリが存在する。
$\mathrm{flat}^{*}$ regime では、データなし更新は、決して$V$を増やさない。
(II)
資本化台帳: 正確な$\mathrm{flat}^{*}$ 抽出IDと普遍台帳ID、例えば (F5$'$)-stable $M$-local update under a no-discarded-record-correlation condition (f), the bound $η_{\mathrm{cap}}\le 1$ for the capitalization efficiency $η_{\mathrm{cap}}=ΔV/(k T\,σ_{M})$ は、必要かつ十分な平等条件と共に与えられる。
(III)
値保持:保持ギャップ$L_{\mathrm{gen}}$と保持率$ρ_{\mathrm{gen}}$(前者は符号制約なし、後者は正のトレーニング側値で定義され、[0,1]$に制限されない)のために、2層アライメントドメインを与える。
これらは、有限デバイス値の保持に関する議論であり、統計一般化の理論ではない。
関連論文リスト
- Inevitability of Encrypted Traffic Side-Channel Leakage in the Multi-Class Setting [20.06940271479014]
クラスごとの分解$I(X;Y)=sum_i_i D_mathrmKL(P_Y|i|P_Y)$を介して、Side-Channel Existence Theoremを$k$クラスに拡張します。
以下の3つの結果が従う: (1) 活性クラス全体の和形式 MI の下限、(2) カスケード臨界コスト定理と、一様予算境界が消滅する非ゼロ、(3) 精度 $mathrmAcc*
論文 参考訳(メタデータ) (2026-09-06T00:48:40Z) - Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots [9.539275654775706]
大規模言語モデルの記憶は、形式的関係が不明な定義の動物園を通じて測定される。
差分プライバシー(DP)は,これらすべてに対して同時にプロキシとして扱われることを示す。
論文 参考訳(メタデータ) (2026-08-27T23:28:08Z) - A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints [6.057587531186626]
目的指向エージェントが生成し、破壊し、交換する価値は、情報と同じカテゴリの法的構造量であることを示す。
価格がフレームに依存していない間、価値はフレーム相対的であり、そのリソースをプールし、その知覚を融合する艦隊が天井を継承する。
論文 参考訳(メタデータ) (2026-06-10T16:11:04Z) - The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。
CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
論文 参考訳(メタデータ) (2026-06-02T08:22:14Z) - The Ringelmann Effect in Multi-Agent LLM Systems: A Scaling Law for Effective Team Size [5.51170856062205]
我々は,高密度ピアの影響がサブリニアからハードサイリングへと解答レベル体制を崩壊させることを示した。
30の高密度な議論剤はMMLU-Hardのそれ以上の答えの多様性をもたらす。
自由形式数学において、高密度なピアの影響は、解準線形からハードシーリングへの解準位体制を崩壊させる。
論文 参考訳(メタデータ) (2026-05-31T16:19:54Z) - Few Batches or Little Memory, But Not Both: Simultaneous Space and Adaptivity Constraints in Stochastic Bandits [21.76698452732286]
空間と適応性に制約を同時に与えたマルチアームバンディットについて検討する。
我々は、$W$-bitメモリ制約を持つアルゴリズムは、少なくとも$(K/W)$バッチを使用して、最小限の後悔である$widetildeO(sqrtKT)$を達成する必要があることを証明している。
論文 参考訳(メタデータ) (2026-03-14T04:02:50Z) - Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。
I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
論文 参考訳(メタデータ) (2026-03-09T22:27:00Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳(メタデータ) (2025-06-30T13:27:39Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-07T15:03:50Z) - $\ell_p$-Regression in the Arbitrary Partition Model of Communication [59.89387020011663]
コーディネータモデルにおける分散$ell_p$-regression問題のランダム化通信複雑性について考察する。
p = 2$、すなわち最小二乗回帰の場合、$tildeTheta(sd2 + sd/epsilon)$ bitsの最初の最適境界を与える。
p in (1,2)$ に対して、$tildeO(sd2/epsilon + sd/mathrmpoly(epsilon)$ upper bound を得る。
論文 参考訳(メタデータ) (2023-07-11T08:51:53Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳(メタデータ) (2022-10-20T21:32:01Z) - Semi-supervised Active Regression [21.51757844385258]
本稿では,学習課題における偏りのある部分ラベル付きデータの利用について検討する。
学習者は、追加のラベルクエリをほとんど行わずに、mathbbRd | X min_beta in mathbbRd | X beta - Y |2 end2 方程式でデータセット $X にアクセスすることができる。
論文 参考訳(メタデータ) (2021-06-12T03:28:43Z) - $Q$-learning with Logarithmic Regret [60.24952657636464]
楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
論文 参考訳(メタデータ) (2020-06-16T13:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。