Fugu-MT 論文翻訳(概要): First-order Optimization for Superquantile-based Supervised Learning

論文の概要: First-order Optimization for Superquantile-based Supervised Learning

arxiv url: http://arxiv.org/abs/2009.14575v2
Date: Thu, 1 Oct 2020 09:11:20 GMT
ステータス: 処理完了
システム内更新日: 2022-10-12 23:09:33.654192
Title: First-order Optimization for Superquantile-based Supervised Learning
Title（参考訳）: superquantile-based supervised learningにおける一階最適化
Authors: Yassine Laguel, J\'er\^ome Malick and Zaid Harchaoui
Abstract要約: 本稿では,超量子的学習目標を最小化する一階最適化アルゴリズムを提案する。提案アルゴリズムは,不完全な畳み込みによる超量子関数の平滑化に基づく。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Classical supervised learning via empirical risk (or negative log-likelihood) minimization hinges upon the assumption that the testing distribution coincides with the training distribution. This assumption can be challenged in modern applications of machine learning in which learning machines may operate at prediction time with testing data whose distribution departs from the one of the training data. We revisit the superquantile regression method by proposing a first-order optimization algorithm to minimize a superquantile-based learning objective. The proposed algorithm is based on smoothing the superquantile function by infimal convolution. Promising numerical results illustrate the interest of the approach towards safer supervised learning.
Abstract（参考訳）: 経験的リスク(あるいは負のログ同化)による古典的な教師付き学習は、テスト分布がトレーニング分布と一致するという仮定にかかっている。この仮定は、機械学習の現代的な応用において、学習機械がトレーニングデータから分布を逸脱したテストデータを用いて予測時に動作させることができる。我々は,超量子型学習目標を最小化する一階最適化アルゴリズムを提案することにより,超量子回帰法を再検討する。提案アルゴリズムは,不完全な畳み込みによる超量子関数の平滑化に基づく。有望な数値結果は、より安全な教師付き学習へのアプローチの関心を示している。

関連論文リスト

Learning-Augmented Algorithms with Explicit Predictors [67.02156211760415]
アルゴリズム設計の最近の進歩は、過去のデータと現在のデータから得られた機械学習モデルによる予測の活用方法を示している。この文脈における以前の研究は、予測器が過去のデータに基づいて事前訓練され、ブラックボックスとして使用されるパラダイムに焦点を当てていた。本研究では,予測器を解き,アルゴリズムの課題の中で生じる学習問題を統合する。
論文参考訳（メタデータ） (2024-03-12T08:40:21Z)
Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文参考訳（メタデータ） (2023-04-12T14:51:47Z)
Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
情報理論AEPに基づく信頼性学習の理論的保証を提供する。次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
論文参考訳（メタデータ） (2022-09-28T17:33:11Z)
Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
論文参考訳（メタデータ） (2022-02-21T13:18:11Z)
Learning Predictions for Algorithms with Predictions [49.341241064279714]
予測器を学習するアルゴリズムに対して,一般的な設計手法を導入する。オンライン学習の手法を応用して、敵のインスタンスに対して学習し、堅牢性と一貫性のあるトレードオフを調整し、新しい統計的保証を得る。両部マッチング,ページマイグレーション,スキーレンタル,ジョブスケジューリングの手法を解析することにより,学習アルゴリズムの導出におけるアプローチの有効性を実証する。
論文参考訳（メタデータ） (2022-02-18T17:25:43Z)
Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
論文参考訳（メタデータ） (2021-10-22T15:03:20Z)
Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
論文参考訳（メタデータ） (2021-06-14T15:40:51Z)
A Probabilistically Motivated Learning Rate Adaptation for Stochastic Optimization [20.77923050735746]
一般的な一階法に対して,ガウス推論の観点からの確率的動機付けを提供する。この推論により、トレーニング中に自動的に適応できる無次元量に学習率を関連付けることができる。得られたメタアルゴリズムは、学習率を幅広い初期値にわたって頑健に適応させることが示される。
論文参考訳（メタデータ） (2021-02-22T10:26:31Z)
Cross-Validation and Uncertainty Determination for Randomized Neural Networks with Applications to Mobile Sensors [0.0]
極端学習マシンは、限られたコンピュータリソースとグリーン機械学習の下で教師付き学習を行うための魅力的で効率的な方法を提供する。このようなネットワークと回帰手法による教師あり学習について,一般化と予測誤差の整合性および境界性の観点から考察した。
論文参考訳（メタデータ） (2021-01-06T12:28:06Z)
Meta-learning with Stochastic Linear Bandits [120.43000970418939]
我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
論文参考訳（メタデータ） (2020-05-18T08:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。