論文の概要: On the Convergence of Loss and Uncertainty-based Active Learning Algorithms

• arxiv url: http://arxiv.org/abs/2312.13927v4
• Date: Fri, 22 Nov 2024 21:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:16:45.192533
• Title: On the Convergence of Loss and Uncertainty-based Active Learning Algorithms
• Title（参考訳）: 損失と不確実性に基づく能動学習アルゴリズムの収束性について
• Authors: Daniel Haimovich, Dima Karamshuk, Fridolin Linder, Niek Tax, Milan Vojnovic,
• Abstract要約: 本研究では、勾配降下法(SGD)アルゴリズムを用いて機械学習モデルの学習に必要な収束率とデータサンプルサイズについて検討する。 線形分類器と線形分離可能なデータセットに対する2乗ヒンジ損失と類似のトレーニング損失関数を用いた収束結果を提案する。
• 参考スコア（独自算出の注目度）: 3.506897386829711
• License:
• Abstract: We investigate the convergence rates and data sample sizes required for training a machine learning model using a stochastic gradient descent (SGD) algorithm, where data points are sampled based on either their loss value or uncertainty value. These training methods are particularly relevant for active learning and data subset selection problems. For SGD with a constant step size update, we present convergence results for linear classifiers and linearly separable datasets using squared hinge loss and similar training loss functions. Additionally, we extend our analysis to more general classifiers and datasets, considering a wide range of loss-based sampling strategies and smooth convex training loss functions. We propose a novel algorithm called Adaptive-Weight Sampling (AWS) that utilizes SGD with an adaptive step size that achieves stochastic Polyak's step size in expectation. We establish convergence rate results for AWS for smooth convex training loss functions. Our numerical experiments demonstrate the efficiency of AWS on various datasets by using either exact or estimated loss values.
• Abstract（参考訳）: 確率勾配降下法(SGD)アルゴリズムを用いて、機械学習モデルの学習に必要な収束率とデータサンプルサイズについて検討し、損失値または不確実値に基づいてデータポイントをサンプリングする。 これらの学習方法は、アクティブな学習とデータサブセット選択の問題に特に関係している。 一定のステップサイズを更新したSGDに対して,2乗ヒンジ損失と類似のトレーニング損失関数を用いた線形分類器と線形分離可能なデータセットの収束結果を示す。 さらに、より一般的な分類器やデータセットに分析を拡張し、広い範囲の損失に基づくサンプリング戦略と滑らかな凸トレーニング損失関数を考慮に入れた。 本稿では,SGDを適応的なステップサイズで利用し,確率的Polyakのステップサイズを期待できる新しいアルゴリズムであるAdaptive-Weight Smpling(AWS)を提案する。 滑らかな凸トレーニング損失関数に対して,AWSの収束率値を確立する。 我々の数値実験は、正確な損失値または推定損失値を用いて、さまざまなデータセット上でAWSの効率を実証する。

関連論文リスト

• SUDS: A Strategy for Unsupervised Drift Sampling [0.5437605013181142]
  監視された機械学習は、データ分散が時間とともに変化するコンセプトドリフトに遭遇し、パフォーマンスが低下する。 本稿では,既存のドリフト検出アルゴリズムを用いて,同種サンプルを選択する新しい手法であるドリフトサンプリング戦略(SUDS)を提案する。 本研究は, 動的環境におけるラベル付きデータ利用の最適化におけるSUDSの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-11-05T10:55:29Z)
• Adaptive Sampling for Deep Learning via Efficient Nonparametric Proxies [35.29595714883275]
  我々は,Nadaraya-Watson推定器に対する効率的なスケッチベース近似を開発した。 サンプリングアルゴリズムは,4つのデータセットに対して,壁面時間と精度でベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-11-22T18:40:18Z)
• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data [8.115323786541078]
  モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。 回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
  論文  参考訳（メタデータ） (2021-09-14T10:22:21Z)
• Learning Curves for SGD on Structured Features [23.40229188549055]
  本研究では,学習中におけるテストエラーを正確に予測するために,特徴空間内のデータの幾何学が重要であることを示す。 提案手法は,学習中のテストエラーを正確に予測するためには,特徴空間内のデータの幾何をモデル化することが極めて重要であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T20:48:20Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。