論文の概要: Saturating Scaling Laws for Equational Discovery: A Phenomenology of Growth Dynamics in Three Toy Substrates with Two Real-World Replications
- arxiv url: http://arxiv.org/abs/2605.23983v1
- Date: Thu, 14 May 2026 21:37:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 02:55:42.99919
- Title: Saturating Scaling Laws for Equational Discovery: A Phenomenology of Growth Dynamics in Three Toy Substrates with Two Real-World Replications
- Title(参考訳): 等方的発見のためのスケーリング法則の飽和:2つの実世界の意味を持つ3つのトイ基板における成長ダイナミクスの現象
- Authors: Fabio Rovai,
- Abstract要約: 決定論的方程式発見基板における成長ダイナミクスについて検討する。
短距離基板サイズは、tbに比例するパワーローN(t)に適合する。
飽和パワーロー dN/dt = K Nk exp(-mu N) で、純粋なパワーローが短距離近似である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate growth dynamics in deterministic equational discovery substrates. Across three toy domains (arithmetic, boolean, higher-order list; n=592 trajectories), short-range substrate sizes fit a power-law N(t) proportional to t^b. Within each substrate b is architecture-sensitive (cross-validated R^2 approximately 0.82); the regression does not transfer across substrates (arith+bool to list yields R^2 approximately -0.84). A heuristic mean-field closure model predicts a saturating power-law dN/dt = K N^k exp(-mu N) of which the pure power-law is the short-range approximation. Three robustness checks: bootstrap intervals on (k, mu) are tight in 4/5 toy trajectories and degenerate in 1/5; out-of-sample forecasting on toy data (fit first 100 epochs, predict next 400) is won by pure power-law 5/5, indicating the toy trajectories do not reach saturation; on two real-world growth proxies the result splits. New Mathlib/*.lean file additions per month (mathlib4, 60 months, 9701 files) support the saturating form on OOS forecasting by approximately 7x over pure power-law; Coq mathcomp monthly commits (129 months, 3083 commits) favour pure power-law on both tests with mu collapsing to zero. The dynamics are substrate-conditional at two levels: within-substrate architecture-to-b regressions do not transfer, and the preferred functional family for N(t) itself (pure vs. saturating power-law) differs by substrate. We propose "saturating power-law growth with substrate-conditional (k, mu), observable when the substrate has reached its saturation regime" as a working framing.
- Abstract(参考訳): 決定論的方程式発見基板における成長ダイナミクスについて検討する。
3つのおもちゃドメイン(パラメータ、ブール、高次リスト、n=592トラジェクトリ)にまたがって、短距離基板サイズは、t^bに比例する負のN(t)に適合する。
各基板bはアーキテクチャに敏感であり(クロスバリデーションされたR^2は約0.82)、レグレッションは基板間で伝達されない(R^2は約0.84)。
ヒューリスティック平均場閉鎖モデルは、純粋なパワーローが短距離近似である飽和パワーロー dN/dt = KN^k exp(-mu N) を予測する。
3つの堅牢性チェック: (k, mu) 上のブートストラップ間隔は4/5 のおもちゃ軌跡で固く、1/5 で縮退し、おもちゃデータ(最初の100 epochs、次の400 に適合する)のアウト・オブ・サンブル予測は純粋なパワールール 5/5 で勝利し、おもちゃ軌跡が飽和しないことを示す。
新しいMathlib/*。
月毎のリーンファイルの追加(mathlib4, 60 months, 9701 file)は、純粋なパワーローよりも約7倍、OOSの飽和フォームをサポートする。
内部基板構造-bの回帰は転移せず、N(t) 自身に対して好まれる機能族(純対飽和パワー-ロー)は基質によって異なる。
本研究では, 基板条件 (k, mu) が飽和状態に達した場合に観測可能な, 基板条件 (k, mu) による飽和パワーロー成長を, 作動フレーミングとして提案する。
関連論文リスト
- Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary [3.151184728006369]
我々は、LoRAシステムの進化的混合を、ルータの書き換え、ドメイン単位の離脱評価スコープ、死のライフサイクル、アルファブレンド継承、SVD突然変異、スロット再配置の3つの要因に分解する。
合成サンドボックスは、制御チャネル上の進化的探索は、タスクに予め整列している場合にのみ負荷を受ける。
論文 参考訳(メタデータ) (2026-05-11T18:59:11Z) - THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。
トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
論文 参考訳(メタデータ) (2026-04-13T10:44:15Z) - FluidWorld: Reaction-Diffusion Dynamics as a Predictive Substrate for World Models [0.0]
現在のアプローチでは、学習された潜在空間で動作するTransformerベースの予測器がデフォルトになっている。
本稿では,予測的世界モデリングに自己注意が必要なのか,それとも代替の計算基板が同等あるいは優れた結果が得られるのか,という根本的な疑問を提起する。
反応拡散型の偏微分方程式(PDE)によって予測力学が支配される概念実証世界モデルであるFluidWorldを紹介する。
論文 参考訳(メタデータ) (2026-03-22T16:49:43Z) - BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" [0.0]
正確なバックプロパゲーションに必要な活性化メモリは、ネットワーク深さ、コンテキスト長、特徴次元と線形にスケールする。
本稿では,活性化メモリをバッチ次元とシーケンス次元から完全に分離する効率的なバックプロパゲーションアルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-03-05T20:38:25Z) - Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳(メタデータ) (2025-12-31T12:08:29Z) - Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。
我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。
THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
論文 参考訳(メタデータ) (2025-11-06T00:41:54Z) - SKI to go Faster: Accelerating Toeplitz Neural Networks via Asymmetric
Kernels [69.47358238222586]
Toeplitz Neural Networks (TNN) は、印象的な結果を持つ最近のシーケンスモデルである。
我々は, O(n) 計算複雑性と O(n) 相対位置エンコーダ (RPE) 多層パーセプトロン (MLP) と減衰バイアスコールの低減を目指す。
双方向モデルの場合、これはスパースと低ランクのToeplitz行列分解を動機付ける。
論文 参考訳(メタデータ) (2023-05-15T21:25:35Z) - Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。
より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。
我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
論文 参考訳(メタデータ) (2023-03-05T15:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。