Fugu-MT 論文翻訳(概要): Evolutionary Augmentation Policy Optimization for Self-supervised Learning

論文の概要: Evolutionary Augmentation Policy Optimization for Self-supervised Learning

arxiv url: http://arxiv.org/abs/2303.01584v1
Date: Thu, 2 Mar 2023 21:16:53 GMT
ステータス: 処理完了
システム内更新日: 2023-03-06 16:57:00.110270
Title: Evolutionary Augmentation Policy Optimization for Self-supervised Learning
Title（参考訳）: 自己教師付き学習のための進化的強化政策最適化
Authors: Noah Barrett, Zahra Sadeghi, Stan Matwin
Abstract要約: 自己教師付き学習(SSL)は、手動でラベル付けされたデータを必要としないディープニューラルネットワーク(DNN)の事前トレーニングのための機械学習アルゴリズムである。本稿では,自己教師付き学習アルゴリズムの性能向上に対する拡張演算子の貢献について検討する。
参考スコア（独自算出の注目度）: 10.087678954934155
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning (SSL) is a Machine Learning algorithm for pretraining Deep Neural Networks (DNNs) without requiring manually labeled data. The central idea of this learning technique is based on an auxiliary stage aka pretext task in which labeled data are created automatically through data augmentation and exploited for pretraining the DNN. However, the effect of each pretext task is not well studied or compared in the literature. In this paper, we study the contribution of augmentation operators on the performance of self supervised learning algorithms in a constrained settings. We propose an evolutionary search method for optimization of data augmentation pipeline in pretext tasks and measure the impact of augmentation operators in several SOTA SSL algorithms. By encoding different combination of augmentation operators in chromosomes we seek the optimal augmentation policies through an evolutionary optimization mechanism. We further introduce methods for analyzing and explaining the performance of optimized SSL algorithms. Our results indicate that our proposed method can find solutions that outperform the accuracy of classification of SSL algorithms which confirms the influence of augmentation policy choice on the overall performance of SSL algorithms. We also compare optimal SSL solutions found by our evolutionary search mechanism and show the effect of batch size in the pretext task on two visual datasets.
Abstract（参考訳）: 自己教師付き学習(SSL)は、手動でラベル付けされたデータを必要としないディープニューラルネットワーク(DNN)の事前トレーニングのための機械学習アルゴリズムである。この学習技術の中心的な考え方は、ラベル付きデータをデータ拡張を通じて自動生成し、DNNの事前訓練に活用する補助的な段階であるakaプレテキストタスクに基づいている。しかし、各文章課題の効果については、文献ではあまり研究されていない。本稿では,制約条件下での自己教師付き学習アルゴリズムの性能に対する拡張演算子の寄与について検討する。本稿では,複数のSOTA SSLアルゴリズムにおいて,データ拡張パイプラインのプリテキストタスクにおける最適化と拡張演算子の影響を測定するための進化的探索手法を提案する。染色体内の拡張演算子の異なる組み合わせをエンコードすることにより、進化的最適化機構を通じて最適な増強ポリシーを求める。さらに、最適化されたSSLアルゴリズムの性能を分析し説明する手法についても紹介する。提案手法は,拡張ポリシーの選択がSSLアルゴリズム全体の性能に与える影響を検証し,SSLアルゴリズムの分類精度を向上する。また,進化的検索機構によって得られた最適SSLソリューションを比較し,プリテキストタスクにおけるバッチサイズが2つのビジュアルデータセットに与える影響を示す。

関連論文リスト

EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文参考訳（メタデータ） (2024-06-12T16:58:41Z)
Augmentations vs Algorithms: What Works in Self-Supervised Learning [9.194402355758164]
自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-08T23:42:06Z)
Investigating Semi-Supervised Learning Algorithms in Text Datasets [0.0]
大きなトレーニングデータセットを使用することで、ニューラルネットワークの一般化能力が向上する。半教師付き学習(SSL)は、ラベル付きデータが少なく、ラベルなしデータが多い場合に有用である。本研究では、自己学習、協調学習、三者学習、不一致を伴う三者学習など、拡張を必要としないSSLアルゴリズムを比較した。
論文参考訳（メタデータ） (2024-01-03T17:22:48Z)
Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文参考訳（メタデータ） (2023-07-07T15:03:42Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文参考訳（メタデータ） (2022-08-26T04:28:01Z)
On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning [32.53142486214591]
自己監視学習(SSL)はディープラーニング研究の非常に活発な領域となり、分類やその他のタスクの事前学習方法として広く利用されている。ここでは、実際、ハイパーパラメータとデータ拡張戦略の選択は、パフォーマンスに劇的な影響を与える可能性があることを示す。我々は,グループ間のサンプリングを最適化するグループ拡張アルゴリズム,GroupAugmentを導入する。
論文参考訳（メタデータ） (2022-07-16T08:31:11Z)
Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文参考訳（メタデータ） (2021-12-15T13:10:44Z)
Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文参考訳（メタデータ） (2021-01-08T18:55:07Z)
Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2020-03-10T03:46:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。