論文の概要: The Thermodynamic Costs of Simple Linear Regression

• arxiv url: http://arxiv.org/abs/2605.19195v1
• Date: Mon, 18 May 2026 23:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.03178
• Title: The Thermodynamic Costs of Simple Linear Regression
• Title（参考訳）: 単純線形回帰の熱力学コスト
• Authors: Samuel H. D'Ambrosia, Sultan M. Daniels, Michael R. DeWeese, Anant Sahai,
• Abstract要約: 基礎的および基礎的モデリングアルゴリズムである単純線形回帰の熱力学的コストについて検討する。 線形回帰モデルをトレーニングするための最適なデータセットサイズに対するエネルギーコストスケーリング法則を導出する。
• 参考スコア（独自算出の注目度）: 5.136254239622075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The construction of models from data is a significant contributor to the energetic costs of computation. Because of this, understanding how foundational thermodynamic bounds apply to modeling algorithms will be increasingly important. Here, we study the thermodynamic costs of a basic and fundamental modeling algorithm: simple linear regression. Following Landauer, we approximate the thermodynamic lower bound on irreversibly performing both exact linear regression and linear regression via stochastic gradient descent as implemented on floating-point numbers. From this, we derive energycost aware scaling laws for the optimal dataset size for training a linear regression model given a generalization error dependent demand for inference. Additionally, we discuss a method to lower bound the entropy production from the mismatch cost for algorithms with continuous input variables.
• Abstract（参考訳）: データからモデルを構築することは、計算のエネルギー的コストに重要な貢献をする。 このため、基礎的な熱力学境界がモデリングアルゴリズムにどのように適用されるかを理解することがますます重要である。 本稿では,基本的および基本的モデリングアルゴリズムである単純線形回帰法の熱力学的コストについて検討する。 Landauer に続いて,浮動小数点数に実装された確率勾配勾配による線形回帰と線形回帰の両方を不可逆的に行う熱力学的下界を近似した。 このことから,一般化誤差依存需要を考慮した線形回帰モデルをトレーニングするための最適なデータセットサイズに対するエネルギーコスト対応スケーリング法則を導出する。 さらに、連続的な入力変数を持つアルゴリズムのミスマッチコストからエントロピー生産量を下げる手法についても論じる。

関連論文リスト

• Bayesian Data Sketching for Varying Coefficient Regression Models [1.6727186769396276]
  本研究では, 様々な係数モデルに対するベイジアンデータスケッチを導入し, 大きなサンプルサイズで表される計算課題を回避した。 提案手法は,大規模関数型データを解析するための既存手法と相違する。 圧縮されたデータに様々な係数回帰モデルの確立された方法とアルゴリズムを適用することができる。
  論文  参考訳（メタデータ） (2025-05-30T22:09:06Z)
• Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression [5.801904710149222]
  機械学習において、スケーリング法則は、モデルとデータサイズをスケールアップすることで、モデルパフォーマンスがどのように改善されるかを記述する。 本稿では,2次パラメータ化モデルを用いた線形回帰のスケーリング法則について検討する。 その結果、正準線形回帰では、特徴学習による一般化と不要な曲線と、パラメトリゼーション法とアルゴリズムに対する情報理論の下界との明確な分離が提供される。
  論文  参考訳（メタデータ） (2025-02-13T09:29:04Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Adaptive operator learning for infinite-dimensional Bayesian inverse problems [7.716833952167609]
  本研究では,局所的に精度の高いサロゲートを強制することによって,モデリングエラーを段階的に低減できる適応型演算子学習フレームワークを開発した。 UKIフレームワークを用いて線形の場合において厳密な収束を保証する。 その結果,逆精度を維持しながら計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2023-10-27T01:50:33Z)
• An adaptive shortest-solution guided decimation approach to sparse high-dimensional linear regression [2.3759847811293766]
  ASSDは最短解誘導アルゴリズムから適応され、ASSDと呼ばれる。 ASSDは、実世界の応用で遭遇する高度に相関した測定行列を持つ線形回帰問題に特に適している。
  論文  参考訳（メタデータ） (2022-11-28T04:29:57Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)
• A spectral algorithm for robust regression with subgaussian rates [0.0]
  本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。 目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
  論文  参考訳（メタデータ） (2020-07-12T19:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。