論文の概要: GAGA: Deciphering Age-path of Generalized Self-paced Regularizer
- arxiv url: http://arxiv.org/abs/2209.07063v1
- Date: Thu, 15 Sep 2022 05:49:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 13:34:39.969923
- Title: GAGA: Deciphering Age-path of Generalized Self-paced Regularizer
- Title（参考訳）: GAGA:一般化セルフパッチ正規化器の年齢パスの解読
- Authors: Xingyu Qu, Diyang Li, Xiaohan Zhao, Bin Gu
- Abstract要約: SPL(Self-paced Learning)は、人間や動物の認知過程を模倣する重要な機械学習パラダイムである。
本稿では,SPL用アンダーライン一般化アンダーラインAge-pathアンダーラインAlgorithm(GAGA)を提案する。
我々の知る限り、GAGAは一般のセルフペース正規化器の年齢パスに対処する最初の正確な経路追従アルゴリズムである。
- 参考スコア（独自算出の注目度）: 16.505705161723117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays self-paced learning (SPL) is an important machine learning paradigm
that mimics the cognitive process of humans and animals. The SPL regime
involves a self-paced regularizer and a gradually increasing age parameter,
which plays a key role in SPL but where to optimally terminate this process is
still non-trivial to determine. A natural idea is to compute the solution path
w.r.t. age parameter (i.e., age-path). However, current age-path algorithms are
either limited to the simplest regularizer, or lack solid theoretical
understanding as well as computational efficiency. To address this challenge,
we propose a novel \underline{G}eneralized \underline{Ag}e-path
\underline{A}lgorithm (GAGA) for SPL with various self-paced regularizers based
on ordinary differential equations (ODEs) and sets control, which can learn the
entire solution spectrum w.r.t. a range of age parameters. To the best of our
knowledge, GAGA is the first exact path-following algorithm tackling the
age-path for general self-paced regularizer. Finally the algorithmic steps of
classic SVM and Lasso are described in detail. We demonstrate the performance
of GAGA on real-world datasets, and find considerable speedup between our
algorithm and competing baselines.
- Abstract（参考訳）: 現在、SPL(Self-paced Learning)は、人間や動物の認知過程を模倣する重要な機械学習パラダイムである。
SPL体制は、自費正規化器と年齢パラメータが徐々に増加し、SPLにおいて重要な役割を担っているが、このプロセスを最適に終了させる場所はいまだに決定しづらい。
自然な考え方は、解経路 w.r.t. 年齢パラメータ(すなわち年齢パス)を計算することである。
しかし、現在の年齢パスアルゴリズムは、最も単純な正規化器に制限されているか、あるいは理論的な確固たる理解と計算効率が欠如している。
この課題に対処するために、通常の微分方程式(ODE)に基づいて様々な自己ペース正則化子を持つSPL用の新規な \underline{G}eneralized \underline{Ag}e-path \underline{A}lgorithm (GAGA) を提案し、年齢パラメータの範囲の解スペクトル全体を学習できる制御を設定する。
我々の知る限り、GAGAは一般のセルフペース正規化器の年齢パスに対処する最初の正確な経路追従アルゴリズムである。
最後に、古典的なSVMとLassoのアルゴリズムステップを詳述する。
実世界のデータセットにおけるGAGAの性能を実証し、アルゴリズムと競合するベースラインの間にかなりのスピードアップを見出す。
関連論文リスト
- Regret-Free Reinforcement Learning for LTL Specifications [6.342676126028222]
強化学習は、未知のダイナミクスを持つシステムの最適制御ポリシーを学習するための有望な方法である。
現在のRLベースの手法は保証のみを提供しており、学習フェーズにおける過渡的なパフォーマンスについての洞察を与えていない。
マルコフ決定プロセス上の仕様の一般的なクラスに対処するコントローラを学習するための,最初の後悔のないオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-18T20:01:45Z) - Efficient Constraint Generation for Stochastic Shortest Path Problems [0.0]
最短経路問題(SSP)に対する制約生成の効率的なバージョンを提案する。
この手法により、アルゴリズムは準最適動作を無視し、コスト・ツー・ゴーの計算を回避できる。
実験の結果, CG-iLAO* は iLAO* の作用の最大57% を無視し, LRTDP や iLAO* よりも最大8倍, 3倍高速に問題を解くことがわかった。
論文 参考訳（メタデータ） (2024-01-26T04:00:07Z) - SLACK: Stable Learning of Augmentations with Cold-start and KL
regularization [47.948446737358566]
我々は,事前知識を活用せずに拡張政策を学習することを提案する。
結果として生じる二値最適化問題は、より広い探索空間と二値最適化アルゴリズムの固有の不安定性により、より困難になる。
我々のアプローチは、より困難な設定にもかかわらず、標準ベンチマーク上での競合結果をもたらし、自然画像を超えて一般化する。
論文 参考訳（メタデータ） (2023-06-16T17:51:07Z) - Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。
カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。
我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
論文 参考訳（メタデータ） (2022-10-27T14:48:49Z) - Follow-the-Perturbed-Leader for Adversarial Markov Decision Processes
with Bandit Feedback [35.687473978249535]
本稿では, 損失関数が時間とともに変化し, 逆選択されるAMDP(Adversarial Markov Decision Processs)に対する後悔について考察する。
Online-Mirror-Descent(OMD)法によるこの問題の研究が急増しているが、Follow-the-Perturbed-Leader(FTPL)法についてはほとんど知られていない。
我々は,帯域幅のフィードバックと遷移を伴う無限水平環境において,AMDPを学習するための最初のノンレグレットアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-05-26T15:55:50Z) - Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。
SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。
本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。
ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
論文 参考訳（メタデータ） (2021-09-13T18:10:52Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Discovering Reinforcement Learning Algorithms [53.72358280495428]
強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。
本稿では,更新ルール全体を検出するメタラーニング手法を提案する。
これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
論文 参考訳（メタデータ） (2020-07-17T07:38:39Z) - Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。
この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。
古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
論文 参考訳（メタデータ） (2020-07-01T18:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。