Fugu-MT 論文翻訳(概要): Tuning Learning Rates with the Cumulative-Learning Constant

論文の概要: Tuning Learning Rates with the Cumulative-Learning Constant

arxiv url: http://arxiv.org/abs/2505.13457v1
Date: Wed, 30 Apr 2025 00:07:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-25 10:52:49.044474
Title: Tuning Learning Rates with the Cumulative-Learning Constant
Title（参考訳）: 累積学習定数による学習率の調整
Authors: Nathan Faraj,
Abstract要約: 学習率とデータセットサイズの間の未認識の比例が発見される。累積学習定数を特定し、高度な学習率スケジュールを設計、最適化するためのフレームワークを提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces a novel method for optimizing learning rates in machine learning. A previously unrecognized proportionality between learning rates and dataset sizes is discovered, providing valuable insights into how dataset scale influences training dynamics. Additionally, a cumulative learning constant is identified, offering a framework for designing and optimizing advanced learning rate schedules. These findings have the potential to enhance training efficiency and performance across a wide range of machine learning applications.
Abstract（参考訳）: 本稿では,機械学習における学習率を最適化する新しい手法を提案する。学習率とデータセットサイズの間の未認識の比例が発見され、データセットスケールがトレーニングダイナミクスにどのように影響するかに関する貴重な洞察を提供する。さらに、累積学習定数を特定し、高度な学習率スケジュールを設計し最適化するためのフレームワークを提供する。これらの発見は、幅広い機械学習アプリケーションにわたるトレーニング効率とパフォーマンスを向上させる可能性がある。

関連論文リスト

Machine Learning-Driven Student Performance Prediction for Enhancing Tiered Instruction [11.564820268803619]
学生のパフォーマンス予測は、教育データマイニングにおいて最も重要な課題の1つである。広範な予測実験にもかかわらず、機械学習手法は実践的な教育戦略に効果的に統合されていない。本研究は,機械学習による学生の成績予測とタインド・インストラクションを統合し,対象科目における学生の成績向上を目的とした。
論文参考訳（メタデータ） (2025-02-05T13:13:25Z)
Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2024-12-12T18:28:55Z)
Accelerating Deep Learning with Fixed Time Budget [2.190627491782159]
本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
論文参考訳（メタデータ） (2024-10-03T21:18:04Z)
Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates [6.783548275689542]
本稿では,出力アクティベーションのヤコビアン/アテンション/ヘシアン差の関数として,層ごとの学習パラメータを調整する階層ワイズ学習方式を提案する。幅広いデータセットに対する学習性能と安定性が改善されました。
論文参考訳（メタデータ） (2024-07-05T21:35:17Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文参考訳（メタデータ） (2023-03-21T15:02:50Z)
Learning Rate Perturbation: A Generic Plugin of Learning Rate Schedule towards Flatter Local Minima [40.70374106466073]
LEAP(LEArning Rate Perturbation)と呼ばれる一般学習率スケジュールプラグインを提案する。 LEAPは、学習率に一定の摂動を導入することにより、モデルトレーニングを改善するために、様々な学習率スケジュールに適用することができる。 LEAPを用いたトレーニングにより、多様なデータセット上での様々なディープラーニングモデルの性能を向上させることができることを示す広範な実験を行う。
論文参考訳（メタデータ） (2022-08-25T05:05:18Z)
BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文参考訳（メタデータ） (2022-02-21T10:34:41Z)
Training With Data Dependent Dynamic Learning Rates [8.833548357664608]
本稿では,インスタンス間の損失関数特性の違いを考慮に入れた最適化フレームワークを提案する。我々のフレームワークはデータセットに存在する各インスタンスの動的学習率を学習する。我々のフレームワークは、機械学習モデルのパーソナライズに、既知のターゲットデータ分布に対して使用できることを示す。
論文参考訳（メタデータ） (2021-05-27T21:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。