Fugu-MT 論文翻訳(概要): Parametric machines: a fresh approach to architecture search

論文の概要: Parametric machines: a fresh approach to architecture search

arxiv url: http://arxiv.org/abs/2007.02777v2
Date: Wed, 8 Jul 2020 16:24:55 GMT
ステータス: 処理完了
システム内更新日: 2022-11-13 01:34:16.867147
Title: Parametric machines: a fresh approach to architecture search
Title（参考訳）: パラメトリックマシン:アーキテクチャ検索への新しいアプローチ
Authors: Pietro Vertechi, Patrizio Frosini, Mattia G. Bergomi
Abstract要約: 単純な機械がより複雑な機械にどのように組み合わされるかを示す。ニューラルネットワークとニューラル常微分方程式を一般化する有限・無限深度機械について検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Using tools from category theory, we provide a framework where artificial neural networks, and their architectures, can be formally described. We first define the notion of machine in a general categorical context, and show how simple machines can be combined into more complex ones. We explore finite- and infinite-depth machines, which generalize neural networks and neural ordinary differential equations. Borrowing ideas from functional analysis and kernel methods, we build complete, normed, infinite-dimensional spaces of machines, and discuss how to find optimal architectures and parameters -- within those spaces -- to solve a given computational problem. In our numerical experiments, these kernel-inspired networks can outperform classical neural networks when the training dataset is small.
Abstract（参考訳）: カテゴリ理論のツールを使用して、ニューラルネットワークとそのアーキテクチャを形式的に記述できるフレームワークを提供する。まず、一般的な分類学的文脈で機械の概念を定義し、より複雑なものにいかに単純な機械を結合できるかを示す。ニューラルネットワークと神経常微分方程式を一般化した,有限かつ無限大の機械を探索する。関数解析とカーネル法からアイデアを借用し、マシンの完全でノルム化された無限次元空間を構築し、与えられた計算問題を解決するために最適なアーキテクチャとパラメーターを見つける方法について議論する。我々の数値実験では、これらのカーネルにインスパイアされたネットワークは、トレーニングデータセットが小さい場合、古典的なニューラルネットワークより優れている。

関連論文リスト

Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。構造は違いをもたらすのか、それとも任意に選択できるのか?
論文参考訳（メタデータ） (2024-10-12T16:13:28Z)
Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文参考訳（メタデータ） (2024-02-20T15:23:24Z)
Higher-order topological kernels via quantum computation [68.8204255655161]
トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
論文参考訳（メタデータ） (2023-07-14T14:48:52Z)
Building artificial neural circuits for domain-general cognition: a primer on brain-inspired systems-level architecture [0.0]
本稿では,生体神経ネットワークにフレキシブル認知に必要な機能を持たせることの意義について概説する。機械学習モデルがより複雑になるにつれて、これらの原則は、可能なアーキテクチャの広大な領域において、価値ある方向を提供するかもしれない。
論文参考訳（メタデータ） (2023-03-21T18:36:17Z)
Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文参考訳（メタデータ） (2022-08-11T20:17:02Z)
Machines of finite depth: towards a formalization of neural networks [0.0]
人工ニューラルネットワークとそのアーキテクチャを、一般的な数学的構築の特定の例、すなわち有限深さの機械として形式的に記述できる統一的なフレームワークを提供する。我々は、この主張を理論的に、実用的に、いくつかの古典的アーキテクチャを一般化する統一的な実装、すなわち、リッチなショートカット構造を持つ高密度、畳み込み、反復的なニューラルネットワーク、およびそれぞれのバックプロパゲーションルールによって証明する。
論文参考訳（メタデータ） (2022-04-27T09:17:15Z)
Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文参考訳（メタデータ） (2022-04-21T05:27:09Z)
Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文参考訳（メタデータ） (2022-03-30T21:47:32Z)
Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
論文参考訳（メタデータ） (2021-04-27T21:09:51Z)
Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。スパイキングニューラルネットワークのハードウェア実装の現状について述べる。本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文参考訳（メタデータ） (2020-05-04T13:24:00Z)
On the computational power and complexity of Spiking Neural Networks [0.0]
本研究では, スパイクニューラルネットワークを機械モデルとして導入し, 親しみやすいチューリングマシンとは対照的に, 情報と操作を機械内に共同配置する。正規問題を導入し、複雑性クラスの階層を定義し、いくつかの最初の完全性結果を提供する。
論文参考訳（メタデータ） (2020-01-23T10:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。