論文の概要: Differentiable programming: Generalization, characterization and
limitations of deep learning
- arxiv url: http://arxiv.org/abs/2205.06898v1
- Date: Fri, 13 May 2022 21:23:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 09:36:10.578282
- Title: Differentiable programming: Generalization, characterization and
limitations of deep learning
- Title（参考訳）: 微分可能プログラミング:ディープラーニングの一般化、特徴化、限界
- Authors: Adri\'an Hern\'andez, Gilles Millerioux and Jos\'e M. Amig\'o
- Abstract要約: 我々は、微分可能プログラミングを定義し、また、微分可能プログラムに問題の構造を組み込むことができるいくつかのプログラム特性を規定する。
グラフデータセットの特定の問題に対して、より一般的なものからより具体的なものまで、さまざまな種類の微分可能プログラムを分析し、評価する。
- 参考スコア（独自算出の注目度）: 0.47791962198275073
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past years, deep learning models have been successfully applied in
several cognitive tasks. Originally inspired by neuroscience, these models are
specific examples of differentiable programs. In this paper we define and
motivate differentiable programming, as well as specify some program
characteristics that allow us to incorporate the structure of the problem in a
differentiable program. We analyze different types of differentiable programs,
from more general to more specific, and evaluate, for a specific problem with a
graph dataset, its structure and knowledge with several differentiable programs
using those characteristics. Finally, we discuss some inherent limitations of
deep learning and differentiable programs, which are key challenges in
advancing artificial intelligence, and then analyze possible solutions
- Abstract（参考訳）: 過去数年間、ディープラーニングモデルはいくつかの認知タスクにうまく適用されてきた。
神経科学にインスパイアされたこれらのモデルは、微分可能なプログラムの具体的な例である。
本稿では,微分可能プログラムの定義と動機付けを行うとともに,問題の構造を微分可能プログラムに組み込むことを可能にするプログラム特性について述べる。
我々は、グラフデータセットの特定の問題に対して、より一般的なものからより具体的なものまで、様々な種類の微分可能プログラムを分析し、それらの特徴を用いてその構造と知識を評価する。
最後に、人工知能の進歩における重要な課題である深層学習と微分可能プログラムの固有の制限について論じ、可能な解決策を分析する。
関連論文リスト
- The Elements of Differentiable Programming [14.197724178748176]
微分可能プログラミングは複雑なコンピュータプログラムのエンドツーエンドの微分を可能にする。
微分プログラミングは、コンピュータ科学と応用数学のいくつかの領域の上に構築されている。
論文 参考訳（メタデータ） (2024-03-21T17:55:16Z) - $\omega$PAP Spaces: Reasoning Denotationally About Higher-Order,
Recursive Probabilistic and Differentiable Programs [64.25762042361839]
$omega$PAP 空間は表現的微分可能および確率的プログラミング言語についての推論のための空間である。
我々の意味論は、最も実践的な確率的で微分可能なプログラムに意味を割り当てるのに十分である。
確率プログラムのトレース密度関数のほぼすべての微分可能性を確立する。
論文 参考訳（メタデータ） (2023-02-21T12:50:05Z) - Symbolic Regression for Space Applications: Differentiable Cartesian
Genetic Programming Powered by Multi-objective Memetic Algorithms [10.191757341020216]
進化ループ中の定数を学習するために、微分可能なモンテカルロ遺伝的プログラミング符号化を利用する、新しい多目的メメティックアルゴリズムを提案する。
この手法は、火星からの熱パワー推定とジャイロロノロジーによる恒星の年齢決定という2つの応用に対して、学習したブラックボックス回帰モデルやハンドエンジニアリングフィッティングよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-13T14:44:15Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳（メタデータ） (2022-05-05T13:40:08Z) - Gradients are Not All You Need [28.29420710601308]
さまざまな異なる状況に現れる共通のカオスベースの障害モードについて議論する。
我々は、この失敗を研究中のシステムのヤコビアンスペクトルに遡り、この失敗が微分に基づく最適化アルゴリズムを損なうことを実践者がいつ期待するかの基準を提供する。
論文 参考訳（メタデータ） (2021-11-10T16:51:04Z) - Differentiable Spline Approximations [48.10988598845873]
微分プログラミングは機械学習のスコープを大幅に強化した。
標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。
この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
論文 参考訳（メタデータ） (2021-10-04T16:04:46Z) - Knowledge as Invariance -- History and Perspectives of
Knowledge-augmented Machine Learning [69.99522650448213]
機械学習の研究は転換点にある。
研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。
このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
論文 参考訳（メタデータ） (2020-12-21T15:07:19Z) - Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。
我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。
私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
論文 参考訳（メタデータ） (2020-07-23T16:07:39Z) - On the Nature of Programming Exercises [0.0]
プログラミング演習の性質が成功と一貫した学習の重要な要素であることを理解することが不可欠である。
本稿では,プログラミング演習の作成における様々なアプローチについて考察する。
論文 参考訳（メタデータ） (2020-06-25T15:22:26Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-06-09T07:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。