論文の概要: Synergy and Symmetry in Deep Learning: Interactions between the Data,
Model, and Inference Algorithm
- arxiv url: http://arxiv.org/abs/2207.04612v1
- Date: Mon, 11 Jul 2022 04:08:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 02:27:46.150452
- Title: Synergy and Symmetry in Deep Learning: Interactions between the Data,
Model, and Inference Algorithm
- Title（参考訳）: 深層学習における相乗効果と対称性:データ,モデル,推論アルゴリズム間の相互作用
- Authors: Lechao Xiao, Jeffrey Pennington
- Abstract要約: 我々は三重項(D,M,I)を統合システムとして研究し、次元の呪いを軽減する重要なシナジーを特定する。
これらの対称性がデータ分布と互換性がある場合、学習は最も効率的であることがわかった。
- 参考スコア（独自算出の注目度）: 33.59320315666675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although learning in high dimensions is commonly believed to suffer from the
curse of dimensionality, modern machine learning methods often exhibit an
astonishing power to tackle a wide range of challenging real-world learning
problems without using abundant amounts of data. How exactly these methods
break this curse remains a fundamental open question in the theory of deep
learning. While previous efforts have investigated this question by studying
the data (D), model (M), and inference algorithm (I) as independent modules, in
this paper, we analyze the triplet (D, M, I) as an integrated system and
identify important synergies that help mitigate the curse of dimensionality. We
first study the basic symmetries associated with various learning algorithms
(M, I), focusing on four prototypical architectures in deep learning:
fully-connected networks (FCN), locally-connected networks (LCN), and
convolutional networks with and without pooling (GAP/VEC). We find that
learning is most efficient when these symmetries are compatible with those of
the data distribution and that performance significantly deteriorates when any
member of the (D, M, I) triplet is inconsistent or suboptimal.
- Abstract（参考訳）: 高次元での学習は次元性の呪いに苦しむのが一般的であるが、現代の機械学習手法は大量のデータを用いることなく、広範囲にわたる現実の学習問題に取り組む驚くべき力を示すことが多い。
これらの手法がいかにしてこの呪いを破るかは、深層学習理論における根本的な疑問である。
本稿では,データ (d), モデル (m), 推論アルゴリズム (i) を独立モジュールとして研究し, 先行研究によりこの問題を調査してきたが, 3重項 (d, m, i) を統合システムとして分析し, 次元の呪いを和らげる重要な相乗効果を明らかにした。
まず, 各種学習アルゴリズム(M, I)に関連する基本対称性について検討し, 完全連結ネットワーク(FCN), 局所連結ネットワーク(LCN), プールのない畳み込みネットワーク(GAP/VEC)の4つの原型アーキテクチャに着目した。
これらの対称性がデータ分布と互換性がある場合、学習は最も効率的であり、(D, M, I)三重項のメンバーが矛盾または最適でない場合、性能は著しく低下する。
関連論文リスト
- Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。
既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。
アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
論文 参考訳（メタデータ） (2024-03-19T18:57:53Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Matching DNN Compression and Cooperative Training with Resources and
Data Availability [20.329698347331075]
MLモデルをどの程度、いつ圧縮し、どこでトレーニングを実行するべきかをエミュレートするかは、難しい決定です。
我々はDNNの訓練に焦点をあてたネットワークシステムをモデル化し、多次元問題を定式化し、近似動的プログラミング問題を定式化する。
我々は、PACTの解が所望の最適値に近づくことができることを証明し、時間的複雑さの増大を犠牲にして証明する。
論文 参考訳（メタデータ） (2022-12-02T09:52:18Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2022-09-29T18:11:01Z) - Deep Efficient Continuous Manifold Learning for Time Series Modeling [11.876985348588477]
対称正定値行列はコンピュータビジョン、信号処理、医療画像解析において研究されている。
本稿では,リーマン多様体とコレスキー空間の間の微分同相写像を利用する枠組みを提案する。
時系列データの動的モデリングのために,多様体常微分方程式とゲートリカレントニューラルネットワークを体系的に統合した連続多様体学習法を提案する。
論文 参考訳（メタデータ） (2021-12-03T01:38:38Z) - Enhancing ensemble learning and transfer learning in multimodal data
analysis by adaptive dimensionality reduction [10.646114896709717]
マルチモーダルデータ分析では、すべての観測が同じレベルの信頼性や情報品質を示すわけではない。
この問題を克服するために,次元削減のための適応的アプローチを提案する。
多様な研究分野で得られたマルチモーダルデータセットのアプローチをテストします。
論文 参考訳（メタデータ） (2021-05-08T11:53:12Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - ATOM3D: Tasks On Molecules in Three Dimensions [91.72138447636769]
近年、深層ニューラルネットワークが注目されている。
本稿では,生物分子のいくつかの重要なクラスにまたがる新しいデータセットと既存のデータセットのコレクションであるATOM3Dを紹介する。
これらのタスクごとに3次元の分子学習ネットワークを開発し、パフォーマンスを一貫して改善します。
論文 参考訳（メタデータ） (2020-12-07T20:18:23Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z) - Learning Similarity Metrics for Numerical Simulations [29.39625644221578]
本稿では,様々な数値シミュレーションソースから得られるデータを比較するため,安定かつ一般化された指標(LSiM)をニューラルネットワークで計算する手法を提案する。
提案手法は,計量の数学的性質を動機としたシームズネットワークアーキテクチャを用いている。
論文 参考訳（メタデータ） (2020-02-18T20:11:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。