論文の概要: Nothing makes sense in deep learning, except in the light of evolution

• arxiv url: http://arxiv.org/abs/2205.10320v1
• Date: Fri, 20 May 2022 17:34:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 15:58:30.460842
• Title: Nothing makes sense in deep learning, except in the light of evolution
• Title（参考訳）: 進化の光を除いて、深層学習では意味をなさない
• Authors: Artem Kaznatcheev and Konrad Paul Kording
• Abstract要約: 文化進化は、ディープラーニングの成功を説明するのに有用なフレームワークである、と私たちは主張する。 生物学の類推において、我々は、アルゴリズムの擬似コードやテキスト記述を完全に訓練されたモデルに変換する過程を「開発」と呼ぶ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning (DL) is a surprisingly successful branch of machine learning. The success of DL is usually explained by focusing analysis on a particular recent algorithm and its traits. Instead, we propose that an explanation of the success of DL must look at the population of all algorithms in the field and how they have evolved over time. We argue that cultural evolution is a useful framework to explain the success of DL. In analogy to biology, we use `development' to mean the process converting the pseudocode or text description of an algorithm into a fully trained model. This includes writing the programming code, compiling and running the program, and training the model. If all parts of the process don't align well then the resultant model will be useless (if the code runs at all!). This is a constraint. A core component of evolutionary developmental biology is the concept of deconstraints -- these are modification to the developmental process that avoid complete failure by automatically accommodating changes in other components. We suggest that many important innovations in DL, from neural networks themselves to hyperparameter optimization and AutoGrad, can be seen as developmental deconstraints. These deconstraints can be very helpful to both the particular algorithm in how it handles challenges in implementation and the overall field of DL in how easy it is for new ideas to be generated. We highlight how our perspective can both advance DL and lead to new insights for evolutionary biology.
• Abstract（参考訳）: Deep Learning (DL)は、機械学習の驚くほど成功した分野である。 dlの成功は通常、特定の最近のアルゴリズムとその特性の分析に焦点を当てて説明される。 代わりに、DLの成功を説明するには、この分野における全てのアルゴリズムの人口と、それらがどのように進化してきたかを検討する必要がある。 文化進化は,DLの成功を説明する上で有用な枠組みである。 生物学の例えとして、アルゴリズムの擬似コードやテキスト記述を完全に訓練されたモデルに変換する過程を「開発」と呼ぶ。 これには、プログラミングコードの記述、プログラムのコンパイルと実行、モデルのトレーニングが含まれる。 プロセスのすべての部分がうまく整合していない場合、結果のモデルは役に立たない(コードが実行されたら! これは制約です。 進化的発達生物学の中核となる要素は、デコンストラント(deconstraints)の概念である -- これらは、他のコンポーネントの変更を自動的に取り入れることによる完全な失敗を避ける発達過程の修正である。 ニューラルネットワーク自体からハイパーパラメータ最適化,AutoGradに至るまで,DLにおける多くの重要なイノベーションが,発達抑制と見なせることが示唆されている。 これらのデコントレイントは、実装上の課題に対処する特定のアルゴリズムと、新しいアイデアが生成されるのがいかに容易かというDLの全体の両方において、非常に役立つ。 我々は、我々の視点がdlを前進させ、進化生物学の新しい洞察に繋がる方法について強調する。

関連論文リスト

• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Breaching the Bottleneck: Evolutionary Transition from Reward-Driven Learning to Reward-Agnostic Domain-Adapted Learning in Neuromodulated Neural Nets [0.3428444467046466]
  AI学習アルゴリズムは、適切な振る舞いを取得するために、外部から用意された振る舞い品質の測定に頼っている。 これにより、多様な非逆刺激情報からの学習を妨げる情報のボトルネックが生じる。 まず、報奨信号から学習する能力を進化させ、非効率(ボトルネック化)だが広い適応性を提供することを提案する。
  論文  参考訳（メタデータ） (2024-04-19T05:14:47Z)
• Continual Zero-Shot Learning through Semantically Guided Generative Random Walks [56.65465792750822]
  生成モデルを利用して、学習中に見えない情報が提供されない連続ゼロショット学習の課題に対処する。 本稿では,新しい意味誘導型生成ランダムウォーク(GRW)損失を用いた学習アルゴリズムを提案する。 提案アルゴリズムは,AWA1,AWA2,CUB,SUNデータセットの最先端性能を達成し,既存のCZSL手法を3～7%上回る結果を得た。
  論文  参考訳（メタデータ） (2023-08-23T18:10:12Z)
• Transgressing the boundaries: towards a rigorous understanding of deep learning and its (non-)robustness [3.1219977244201056]
  様々な分野のアプリケーションにおける機械学習の最近の進歩は、ディープラーニング(DL)メソッドとアーキテクチャの台頭によるものである。 自動運転車、画像処理、音声認識などの背後にある重要な技術であるにもかかわらず、DLの理論的理解の欠如は悪名高い問題である。
  論文  参考訳（メタデータ） (2023-07-05T17:27:17Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• Towards Training Reproducible Deep Learning Models [26.547756923322126]
  ディープラーニング(DL)モデルは、ソフトウェアにおけるランダム性やハードウェアにおける非決定性といった問題により、再現が困難である。 本稿では,再現可能なDLモデルを学習するための体系的なアプローチを提案する。 ケーススタディでは,6つのオープンソースと1つの商用DLモデルを再現することができた。
  論文  参考訳（メタデータ） (2022-02-04T18:14:39Z)
• Fortuitous Forgetting in Connectionist Networks [20.206607130719696]
  我々は,ニューラルネットワークの学習軌跡を形成するための強力なパラダイムとして,"forget-and-relearn"を紹介した。 forget-and-relearnフレームワークは、画像分類と言語出現文学において、多くの既存の反復的トレーニングアルゴリズムを統合する。 我々は、この理解を活用して、よりターゲットを絞った忘れ操作を設計することで、既存のアルゴリズムを改善する。
  論文  参考訳（メタデータ） (2022-02-01T00:15:58Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。