論文の概要: LCDB 1.1: A Database Illustrating Learning Curves Are More Ill-Behaved Than Previously Thought

• arxiv url: http://arxiv.org/abs/2505.15657v1
• Date: Wed, 21 May 2025 15:32:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.74425
• Title: LCDB 1.1: A Database Illustrating Learning Curves Are More Ill-Behaved Than Previously Thought
• Title（参考訳）: LCDB 1.1: 学習曲線をイラストにしたデータベース
• Authors: Cheng Yan, Felix Mohr, Tom Viering,
• Abstract要約: 学習曲線は以前考えられていたよりもあまり良くないことを示す。 統計的に厳密な手法を用いて,学習曲線の約14%において,有意な不振を観測した。 どの学習者が責任を負うかを特定し、特定の学習者が他の学習者よりも悪質であることを示す。
• 参考スコア（独自算出の注目度）: 11.282804463462165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sample-wise learning curves plot performance versus training set size. They are useful for studying scaling laws and speeding up hyperparameter tuning and model selection. Learning curves are often assumed to be well-behaved: monotone (i.e. improving with more data) and convex. By constructing the Learning Curves Database 1.1 (LCDB 1.1), a large-scale database with high-resolution learning curves, we show that learning curves are less often well-behaved than previously thought. Using statistically rigorous methods, we observe significant ill-behavior in approximately 14% of the learning curves, almost twice as much as in previous estimates. We also identify which learners are to blame and show that specific learners are more ill-behaved than others. Additionally, we demonstrate that different feature scalings rarely resolve ill-behavior. We evaluate the impact of ill-behavior on downstream tasks, such as learning curve fitting and model selection, and find it poses significant challenges, underscoring the relevance and potential of LCDB 1.1 as a challenging benchmark for future research.
• Abstract（参考訳）: サンプルワイズ学習曲線は、トレーニングセットのサイズに対してパフォーマンスをプロットする。 スケーリング法則を研究し、ハイパーパラメータチューニングとモデル選択を高速化するのに有用である。 学習曲線はしばしば、モノトン(つまり、より多くのデータで改善する)と凸(convex)である。 高分解能な学習曲線を持つ大規模データベースであるLearning Curves Database 1.1 (LCDB 1.1) を構築することにより、学習曲線が以前考えられていたよりも良くないことを示す。 統計的に厳密な手法を用いて,学習曲線の約14%において,有意な不振を観測した。 また、どの学習者が非難すべきなのかを特定し、特定の学習者が他の学習者よりも悪いことを示します。 さらに、異なる機能のスケーリングが不適切な振る舞いを解決することは滅多にないことを示した。 本研究では,学習曲線の整合やモデル選択といった下流タスクに対する悪行動の影響を評価し,LCDB 1.1の妥当性と可能性について,今後の研究の課題となるベンチマークとして評価する。

関連論文リスト

• Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
  先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。 提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
  論文  参考訳（メタデータ） (2025-05-19T15:43:10Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Towards Causal Deep Learning for Vulnerability Detection [31.59558109518435]
  ソフトウェア工学モデルに計算に基づく因果学習を導入する。 以上の結果から,CausalVulはモデル精度,ロバスト性,OOD性能を一貫して改善した。
  論文  参考訳（メタデータ） (2023-10-12T00:51:06Z)
• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)
• Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering [71.15403434929915]
  視覚的質問応答のタスクにおいて、5つのモデルと4つのデータセットにまたがって、多種多様な能動的学習アプローチがランダム選択を上回りません。 アクティブな学習手法が好まれるが、モデルは学習に失敗する例の集まりである。 本研究では,アクティブ学習プールにおける集団外乱の減少に伴い,アクティブ学習サンプル効率が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-07-06T00:52:11Z)
• The Shape of Learning Curves: a Review [14.764764847928259]
  本稿では,この用語の起源を振り返り,学習曲線の形式的定義を提供し,その推定などの基礎を概説する。 電力法や指数の形状を持つよく行動する曲線をサポートする経験的および理論的証拠について議論する。 学習曲線の学習曲線の例に特に注意を払っており、トレーニングデータが増えると学習成績が悪化する。
  論文  参考訳（メタデータ） (2021-03-19T17:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。