論文の概要: Open Problems in Applied Deep Learning

• arxiv url: http://arxiv.org/abs/2301.11316v1
• Date: Thu, 26 Jan 2023 18:55:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 12:38:10.781224
• Title: Open Problems in Applied Deep Learning
• Title（参考訳）: 深層学習におけるオープン問題
• Authors: Maziar Raissi
• Abstract要約: この研究は、機械学習メカニズムを二段階最適化問題として定式化する。 内部レベル最適化ループは、トレーニングデータに基づいて評価された適切に選択された損失関数を最小化する。 外部レベルの最適化ループは、あまりよく研究されておらず、バリデーションデータに基づいて評価された適切に選択された性能指標を最大化する。
• 参考スコア（独自算出の注目度）: 2.1320960069210475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work formulates the machine learning mechanism as a bi-level optimization problem. The inner level optimization loop entails minimizing a properly chosen loss function evaluated on the training data. This is nothing but the well-studied training process in pursuit of optimal model parameters. The outer level optimization loop is less well-studied and involves maximizing a properly chosen performance metric evaluated on the validation data. This is what we call the "iteration process", pursuing optimal model hyper-parameters. Among many other degrees of freedom, this process entails model engineering (e.g., neural network architecture design) and management, experiment tracking, dataset versioning and augmentation. The iteration process could be automated via Automatic Machine Learning (AutoML) or left to the intuitions of machine learning students, engineers, and researchers. Regardless of the route we take, there is a need to reduce the computational cost of the iteration step and as a direct consequence reduce the carbon footprint of developing artificial intelligence algorithms. Despite the clean and unified mathematical formulation of the iteration step as a bi-level optimization problem, its solutions are case specific and complex. This work will consider such cases while increasing the level of complexity from supervised learning to semi-supervised, self-supervised, unsupervised, few-shot, federated, reinforcement, and physics-informed learning. As a consequence of this exercise, this proposal surfaces a plethora of open problems in the field, many of which can be addressed in parallel.
• Abstract（参考訳）: 本研究は,二段階最適化問題として機械学習機構を定式化する。 インナーレベル最適化ループは、トレーニングデータで評価された適切に選択された損失関数を最小化する。 最適なモデルパラメータを追求する上で、よく研究されたトレーニングプロセスに過ぎません。 外層最適化ループは十分に研究されておらず、検証データに基づいて評価された適切に選択されたパフォーマンスメトリックを最大化する。 これは我々が「イテレーションプロセス」と呼ぶもので、最適なモデルハイパーパラメータを追求するものです。 他の多くの自由度の中で、このプロセスにはモデルエンジニアリング(例えば、ニューラルネットワークアーキテクチャ設計)とマネジメント、実験追跡、データセットのバージョニング、拡張が含まれる。 イテレーションプロセスは自動機械学習(automl)を通じて自動化するか、あるいは機械学習の学生、エンジニア、研究者の直観に委ねることができる。 経路にかかわらず、反復ステップの計算コストを削減し、直接的な結果として、人工知能アルゴリズムを開発する際の炭素フットプリントを減らす必要がある。 二段階最適化問題としての反復ステップのクリーンで統一的な数学的定式化にもかかわらず、その解はケース固有かつ複雑である。 この研究は、教師付き学習から、半教師付き、自己教師なし、無監督、少数ショット、連合、強化、物理学未形成学習まで、複雑さのレベルを増加させながら、このようなケースを考察する。 この運動の結果、この提案はこの分野の多くの未解決問題に面しており、その多くが並列に扱うことができる。

関連論文リスト

• Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
  ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:48:08Z)
• Delayed Geometric Discounts: An Alternative Criterion for Reinforcement Learning [1.52292571922932]
  強化学習(RL)は、最適行動を学ぶ理論的背景を提案する。 実際には、RLアルゴリズムはこの最適性を評価するために幾何割引に依存する。 本稿では,遅延対象関数の族による割引問題定式化を一般化することにより,これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-26T07:49:38Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Application of an automated machine learning-genetic algorithm (AutoML-GA) coupled with computational fluid dynamics simulations for rapid engine design optimization [0.0]
  本研究は,内燃機関のサロゲート最適化のための自動アクティブラーニング手法であるAutoML-GAについて述べる。 遺伝的アルゴリズムを用いて、機械学習サロゲート表面上の設計最適点を特定する。 その結果,AutoML-GAはCFDシミュレーションの少ない精度で最適化できることがわかった。
  論文  参考訳（メタデータ） (2021-01-07T17:50:52Z)
• Optimization for Supervised Machine Learning: Randomized Algorithms for Data and Parameters [10.279748604797911]
  機械学習とデータサイエンスの主な問題は、最適化問題として日常的にモデル化され、最適化アルゴリズムによって解決される。 データ量の増加と、これらの不条件最適化タスクを定式化するために使用される統計モデルのサイズと複雑さにより、これらの課題に対処できる新しい効率的なアルゴリズムが必要である。 この論文では,これらの課題をそれぞれ異なる方法で処理する。ビッグデータ問題に効率的に対処するために,各イテレーションでトレーニングデータの小さなランダムサブセットのみを検査する新しい手法を開発する。 大きなモデル問題に対処するために、イテレーション毎に更新されるメソッドを開発します。
  論文  参考訳（メタデータ） (2020-08-26T21:15:18Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。