論文の概要: On the Convergence of Loss and Uncertainty-based Active Learning Algorithms

• arxiv url: http://arxiv.org/abs/2312.13927v3
• Date: Tue, 11 Jun 2024 16:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 00:39:03.547805
• Title: On the Convergence of Loss and Uncertainty-based Active Learning Algorithms
• Title（参考訳）: 損失と不確実性に基づく能動学習アルゴリズムの収束性について
• Authors: Daniel Haimovich, Dima Karamshuk, Fridolin Linder, Niek Tax, Milan Vojnovic,
• Abstract要約: 本研究では、勾配降下法(SGD)アルゴリズムを用いて機械学習モデルの学習に必要な収束率とデータサンプルサイズについて検討する。 線形分類器と線形分離可能なデータセットに対する2乗ヒンジ損失と類似のトレーニング損失関数を用いた収束結果を提案する。
• 参考スコア（独自算出の注目度）: 3.506897386829711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the convergence rates and data sample sizes required for training a machine learning model using a stochastic gradient descent (SGD) algorithm, where data points are sampled based on either their loss value or uncertainty value. These training methods are particularly relevant for active learning and data subset selection problems. For SGD with a constant step size update, we present convergence results for linear classifiers and linearly separable datasets using squared hinge loss and similar training loss functions. Additionally, we extend our analysis to more general classifiers and datasets, considering a wide range of loss-based sampling strategies and smooth convex training loss functions. We propose a novel algorithm called Adaptive-Weight Sampling (AWS) that utilizes SGD with an adaptive step size that achieves stochastic Polyak's step size in expectation. We establish convergence rate results for AWS for smooth convex training loss functions. Our numerical experiments demonstrate the efficiency of AWS on various datasets by using either exact or estimated loss values.
• Abstract（参考訳）: 確率勾配降下法(SGD)アルゴリズムを用いて、機械学習モデルの学習に必要な収束率とデータサンプルサイズについて検討し、損失値または不確実値に基づいてデータポイントをサンプリングする。 これらの学習方法は、アクティブな学習とデータサブセット選択の問題に特に関係している。 一定のステップサイズを更新したSGDに対して,2乗ヒンジ損失と類似のトレーニング損失関数を用いた線形分類器と線形分離可能なデータセットの収束結果を示す。 さらに、より一般的な分類器やデータセットに分析を拡張し、広い範囲の損失に基づくサンプリング戦略と滑らかな凸トレーニング損失関数を考慮に入れた。 本稿では,SGDを適応的なステップサイズで利用し,確率的Polyakのステップサイズを期待できる新しいアルゴリズムであるAdaptive-Weight Smpling(AWS)を提案する。 滑らかな凸トレーニング損失関数に対して,AWSの収束率値を確立する。 我々の数値実験は、正確な損失値または推定損失値を用いて、さまざまなデータセット上でAWSの効率を実証する。

関連論文リスト

• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• SUDS: A Strategy for Unsupervised Drift Sampling [0.5437605013181142]
  監視された機械学習は、データ分散が時間とともに変化するコンセプトドリフトに遭遇し、パフォーマンスが低下する。 本稿では,既存のドリフト検出アルゴリズムを用いて,同種サンプルを選択する新しい手法であるドリフトサンプリング戦略(SUDS)を提案する。 本研究は, 動的環境におけるラベル付きデータ利用の最適化におけるSUDSの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-11-05T10:55:29Z)
• Online Importance Sampling for Stochastic Gradient Optimization [33.42221341526944]
  本稿では,トレーニング中のデータの重要度を効率的に計算する実用的なアルゴリズムを提案する。 また、ネットワーク出力の損失w.r.t.の導出に基づく新しいメトリクスを導入し、ミニバッチの重要度サンプリング用に設計した。
  論文  参考訳（メタデータ） (2023-11-24T13:21:35Z)
• Adaptive Sampling for Deep Learning via Efficient Nonparametric Proxies [35.29595714883275]
  我々は,Nadaraya-Watson推定器に対する効率的なスケッチベース近似を開発した。 サンプリングアルゴリズムは,4つのデータセットに対して,壁面時間と精度でベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-11-22T18:40:18Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• Learning Curves for SGD on Structured Features [23.40229188549055]
  本研究では,学習中におけるテストエラーを正確に予測するために,特徴空間内のデータの幾何学が重要であることを示す。 提案手法は,学習中のテストエラーを正確に予測するためには,特徴空間内のデータの幾何をモデル化することが極めて重要であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T20:48:20Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。