論文の概要: Power Law Trends in Speedrunning and Machine Learning

• arxiv url: http://arxiv.org/abs/2304.10004v1
• Date: Wed, 19 Apr 2023 23:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 14:57:38.637148
• Title: Power Law Trends in Speedrunning and Machine Learning
• Title（参考訳）: スピードランニングと機械学習における電力法の動向
• Authors: Ege Erdil and Jaime Sevilla
• Abstract要約: スピードランニングの世界記録の改善は、電力法パターンに従っていることがわかった。 機械学習ベンチマークに適用することで,このアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We find that improvements in speedrunning world records follow a power law pattern. Using this observation, we answer an outstanding question from previous work: How do we improve on the baseline of predicting no improvement when forecasting speedrunning world records out to some time horizon, such as one month? Using a random effects model, we improve on this baseline for relative mean square error made on predicting out-of-sample world record improvements as the comparison metric at a $p < 10^{-5}$ significance level. The same set-up improves \textit{even} on the ex-post best exponential moving average forecasts at a $p = 0.15$ significance level while having access to substantially fewer data points. We demonstrate the effectiveness of this approach by applying it to Machine Learning benchmarks and achieving forecasts that exceed a baseline. Finally, we interpret the resulting model to suggest that 1) ML benchmarks are far from saturation and 2) sudden large improvements in Machine Learning are unlikely but cannot be ruled out.
• Abstract（参考訳）: スピードランニングの世界記録の改善は、電力法パターンに従っている。 この観察から,世界記録を1ヶ月などの時間的地平線で予測する場合,改善の予測基準をどう改善すればよいのか,という,これまでの研究から顕著な疑問に答える。 ランダム効果モデルを用いて, 平均二乗誤差に対するこのベースラインの改善を行い, 比較指標として, 平均二乗誤差を10^{-5}$で予測した。 同じセットアップでは、前ポストの最も指数的な移動平均の予測値である \textit{even} を$p = 0.15$の重要度レベルで改善する。 機械学習ベンチマークに適用し,ベースラインを超える予測を達成することによって,このアプローチの有効性を実証する。 最後に、結果のモデルを解釈して 1)MLベンチマークは飽和から程遠い。 2) 機械学習の突然の大きな改善はあり得ないが、除外することはできない。

関連論文リスト

• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Contrastive Difference Predictive Coding [79.74052624853303]
  本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。 目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
  論文  参考訳（メタデータ） (2023-10-31T03:16:32Z)
• Accurate Prediction of Global Mean Temperature through Data Transformation Techniques [0.0]
  本稿では,複雑なMLアルゴリズムやディープラーニングニューラルネットワーク(Deep Learning Neural Networks, DNN)を直接利用するのではなく, 統計的, 簡便な機械学習手法の利点について検討する。 さまざまな単純なML手法は、最初のステップとして大規模なアルゴリズムの花束を試すことのメリットを示す、よく知られた手法よりも優れているか、あるいは優れている。
  論文  参考訳（メタデータ） (2023-03-11T17:39:57Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• Influence-Based Mini-Batching for Graph Neural Networks [0.0]
  グラフニューラルネットワークに対する影響に基づくミニバッチを提案する。 IBMBは従来の手法に比べて最大130倍の推論を高速化する。 これにより、エポック毎のトレーニングが最大18倍、ランタイム毎のコンバージェンス毎のコンバージェンスの最大17倍高速になる。
  論文  参考訳（メタデータ） (2022-12-18T13:27:01Z)
• Learning-Augmented Maximum Flow [3.0712335337791288]
  本稿では,予測を用いて最大流れ計算を高速化するフレームワークを提案する。 我々は,$m$のエッジフローネットワークと予測フローが与えられた場合,最大フローを$O(meta)$時間で計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-26T14:02:41Z)
• Scheduling with Speed Predictions [10.217102227210669]
  本稿では,ジョブの処理時間ではなく,マシンの速度が不明な速度ロスのスケジューリング問題について検討する。 我々の主な結果は、$mineta2 (1+epsilon)2 (1+epsilon)(2+2/alpha)$近似を達成するアルゴリズムである。 予測が正確であれば、この近似は以前最もよく知られた2-1/m$の近似よりも改善される。
  論文  参考訳（メタデータ） (2022-05-02T23:39:41Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Exploiting Activation based Gradient Output Sparsity to Accelerate Backpropagation in CNNs [15.465530153038927]
  多くの最先端技術の背後にある原動力として、機械学習(ML/DL)ベースの技術が登場している。 しかし、大きなパラメータを含むこれらのモデルをトレーニングすることは、時間とエネルギーの両方を消費する。
  論文  参考訳（メタデータ） (2021-09-16T04:12:51Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。