論文の概要: Investigating Neural Architectures by Synthetic Dataset Design
- arxiv url: http://arxiv.org/abs/2204.11045v1
- Date: Sat, 23 Apr 2022 10:50:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 12:40:54.631825
- Title: Investigating Neural Architectures by Synthetic Dataset Design
- Title（参考訳）: 合成データセット設計によるニューラルアーキテクチャの研究
- Authors: Adrien Courtois, Jean-Michel Morel, Pablo Arias
- Abstract要約: 近年、多くの新しいニューラルネットワーク構造(アーキテクチャと層)が出現している。
アドホックな合成データセットを設計することにより,各構造がネットワーク能力に与える影響を測定する手法をスケッチする。
本稿では,以下の3つのネットワーク特性のそれぞれを評価するために,3つのデータセットを構築した手法について述べる。
- 参考スコア（独自算出の注目度）: 14.317837518705302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have seen the emergence of many new neural network structures
(architectures and layers). To solve a given task, a network requires a certain
set of abilities reflected in its structure. The required abilities depend on
each task. There is so far no systematic study of the real capacities of the
proposed neural structures. The question of what each structure can and cannot
achieve is only partially answered by its performance on common benchmarks.
Indeed, natural data contain complex unknown statistical cues. It is therefore
impossible to know what cues a given neural structure is taking advantage of in
such data. In this work, we sketch a methodology to measure the effect of each
structure on a network's ability, by designing ad hoc synthetic datasets. Each
dataset is tailored to assess a given ability and is reduced to its simplest
form: each input contains exactly the amount of information needed to solve the
task. We illustrate our methodology by building three datasets to evaluate each
of the three following network properties: a) the ability to link local cues to
distant inferences, b) the translation covariance and c) the ability to group
pixels with the same characteristics and share information among them. Using a
first simplified depth estimation dataset, we pinpoint a serious nonlocal
deficit of the U-Net. We then evaluate how to resolve this limitation by
embedding its structure with nonlocal layers, which allow computing complex
features with long-range dependencies. Using a second dataset, we compare
different positional encoding methods and use the results to further improve
the U-Net on the depth estimation task. The third introduced dataset serves to
demonstrate the need for self-attention-like mechanisms for resolving more
realistic depth estimation tasks.
- Abstract（参考訳）: 近年、多くの新しいニューラルネットワーク構造(アーキテクチャとレイヤ)が出現している。
与えられたタスクを解決するためには、ネットワークはその構造に反映されるある種の能力を必要とする。
必要な能力はそれぞれのタスクに依存する。
今のところ、提案された神経構造の実際の能力に関する体系的な研究はない。
それぞれの構造が何ができるのか、達成できないのかという問題は、共通ベンチマークのパフォーマンスによって部分的に答えられるだけである。
実際、自然データは複雑な未知の統計的手がかりを含んでいる。
したがって、与えられた神経構造がそのようなデータで何を利用するのかを知ることは不可能である。
本研究では,アドホックな合成データセットを設計することにより,各構造がネットワーク能力に与える影響を測定する手法をスケッチする。
各データセットは、与えられた能力を評価するために調整され、最も単純な形式に還元される。
以下の3つのネットワーク特性のそれぞれを評価するために3つのデータセットを構築することで、我々の方法論を説明する。
a) 遠方の推論と局所的な手がかりを関連付ける能力
b) 翻訳共変性及び
c)同じ特性の画素をグループ化し、情報を共有できる能力。
最初の簡易な深度推定データセットを用いて、U-Netの深刻な非局所的欠陥を特定する。
次に,その構造を非局所層に埋め込むことで,この制約を解決する方法を評価する。
第2のデータセットを用いて、異なる位置符号化法を比較し、結果を用いて深度推定タスクにおけるU-Netをさらに改善する。
第3のデータセットは、より現実的な奥行き推定タスクを解決するためのセルフアテンションのようなメカニズムの必要性を示すのに役立つ。
関連論文リスト
- Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳（メタデータ） (2024-02-04T08:57:42Z) - On Characterizing the Evolution of Embedding Space of Neural Networks
using Algebraic Topology [9.537910170141467]
特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。
深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
論文 参考訳（メタデータ） (2023-11-08T10:45:12Z) - Memorization with neural nets: going beyond the worst case [5.662924503089369]
実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。
しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。
2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-09-30T10:06:05Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud
Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。
提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。
ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文 参考訳（メタデータ） (2022-09-13T12:12:19Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳（メタデータ） (2021-09-03T11:45:51Z) - Neural Network Layer Algebra: A Framework to Measure Capacity and
Compression in Deep Learning [0.0]
本稿では,(深度)ニューラルネットワークの内在特性を測定するための新しい枠組みを提案する。
畳み込みネットワークに重点を置いている間、我々のフレームワークはどんなネットワークアーキテクチャにも外挿できる。
論文 参考訳（メタデータ） (2021-07-02T13:43:53Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - Stochastic encoding of graphs in deep learning allows for complex
analysis of gender classification in resting-state and task functional brain
networks from the UK Biobank [0.13706331473063876]
我々は,機能的コネクトームを性別別に分類するために,CNNのアンサンブルに符号化手法を導入する。
課題と休息状態に関わる3つの脳ネットワークとその相互作用の塩分濃度を測定した。
論文 参考訳（メタデータ） (2020-02-25T15:10:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。