論文の概要: AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

• arxiv url: http://arxiv.org/abs/2003.03384v2
• Date: Tue, 30 Jun 2020 04:32:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:27:39.094270
• Title: AutoML-Zero: Evolving Machine Learning Algorithms From Scratch
• Title（参考訳）: automl-zero:スクラッチから進化する機械学習アルゴリズム
• Authors: Esteban Real, Chen Liang, David R. So, and Quoc V. Le
• Abstract要約: 基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
• 参考スコア（独自算出の注目度）: 76.83052807776276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning research has advanced in multiple aspects, including model structures and learning methods. The effort to automate such research, known as AutoML, has also made significant progress. However, this progress has largely focused on the architecture of neural networks, where it has relied on sophisticated expert-designed layers as building blocks---or similarly restrictive search spaces. Our goal is to show that AutoML can go further: it is possible today to automatically discover complete machine learning algorithms just using basic mathematical operations as building blocks. We demonstrate this by introducing a novel framework that significantly reduces human bias through a generic search space. Despite the vastness of this space, evolutionary search can still discover two-layer neural networks trained by backpropagation. These simple neural networks can then be surpassed by evolving directly on tasks of interest, e.g. CIFAR-10 variants, where modern techniques emerge in the top algorithms, such as bilinear interactions, normalized gradients, and weight averaging. Moreover, evolution adapts algorithms to different task types: e.g., dropout-like techniques appear when little data is available. We believe these preliminary successes in discovering machine learning algorithms from scratch indicate a promising new direction for the field.
• Abstract（参考訳）: 機械学習の研究は、モデル構造や学習方法など、さまざまな面で進歩している。 このような研究を自動化すること、AutoMLも大きな進歩を遂げている。 しかし、この進歩はニューラルネットワークのアーキテクチャに大きく焦点を合わせており、そこでは高度な専門家が設計したレイヤーをビルディングブロックとして頼りにしてきた。 今日では、基本的な数学的操作をビルディングブロックとして使用するだけで、完全な機械学習アルゴリズムを自動的に検出することが可能です。 一般的な検索空間を通じて人間のバイアスを大幅に低減する新しい枠組みを導入することでこれを実証する。 この空間の広大なにもかかわらず、進化的探索はバックプロパゲーションによって訓練された2層ニューラルネットワークを発見することができる。 これらの単純なニューラルネットワークは、関心のあるタスク、例えばCIFAR-10変種に基づいて直接進化することで、双線形相互作用、正規化勾配、平均化といった最新の技術がトップアルゴリズムに現れる。 さらに、進化はアルゴリズムを異なるタスクタイプに適応させる。例えば、データが少ないときにドロップアウトのようなテクニックが現れる。 機械学習アルゴリズムをスクラッチから発見する上で、これらの予備的な成功は、この分野にとって有望な新しい方向性を示していると信じている。

関連論文リスト

• Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations [66.53734987585244]
  真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。 このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。 このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
  論文  参考訳（メタデータ） (2023-12-22T01:19:08Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Pathfinding Neural Cellular Automata [23.831530224401575]
  Pathfindingは、ロボットパス計画、トランスポートルーティング、ゲームプレイなど、幅広い複雑なAIタスクの重要なサブコンポーネントである。 我々は, Breadth-First Search (BFS) のモデル,すなわち最短経路探索のハンドコードと学習を行う。 本稿では、Depth-First Search(DFS)のニューラル実装を提案し、グラフの直径を計算するためのNAAを生成するために、ニューラルネットワークBFSと組み合わせる方法について概説する。 我々は,これらの手書きNCAに触発されたアーキテクチャ変更を実験し,グリッド迷路の直径問題を解くためにゼロからネットワークをトレーニングし,高い能力の一般化を示した。
  論文  参考訳（メタデータ） (2023-01-17T11:45:51Z)
• A Generalist Neural Algorithmic Learner [18.425083543441776]
  我々は、幅広いアルゴリズムを実行することを学習できる単一のグラフニューラルネットワークプロセッサを構築している。 マルチタスク方式でアルゴリズムを効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:41:33Z)
• Concurrent Neural Tree and Data Preprocessing AutoML for Image Classification [0.5735035463793008]
  現在のSOTA (State-of-the-art) には、アルゴリズム検索空間の一部として入力データを操作するための従来の手法は含まれていない。 進化的多目的アルゴリズム設計エンジン(EMADE, Evolutionary Multi-objective Algorithm Design Engine)は、従来の機械学習手法のための多目的進化的検索フレームワークである。 CIFAR-10画像分類ベンチマークデータセットにおいて,これらの手法を検索空間の一部として含めることで,性能向上の可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-25T20:03:09Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• Accelerating Neural Architecture Exploration Across Modalities Using Genetic Algorithms [5.620334754517149]
  多目的アーキテクチャ探索を加速するために, 遺伝的アルゴリズムと軽量に訓練された客観予測器を反復サイクルで組み合わせる方法を示す。 NASの研究はコンピュータビジョンのタスクを中心に行われており、最近になって自然言語処理の急速な発展など他のモダリティも深く研究されている。
  論文  参考訳（メタデータ） (2022-02-25T20:01:36Z)
• Improving the sample-efficiency of neural architecture search with reinforcement learning [0.0]
  この作業では、Automated Machine Learning(AutoML)の領域にコントリビュートしたいと思っています。 我々の焦点は、最も有望な研究方向の一つ、強化学習である。 児童ネットワークの検証精度は、コントローラを訓練するための報奨信号として機能する。 我々は、これをより現代的で複雑なアルゴリズムであるPPOに修正することを提案する。
  論文  参考訳（メタデータ） (2021-10-13T14:30:09Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。