論文の概要: Homological Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2308.13816v2
- Date: Tue, 14 Nov 2023 09:26:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 18:26:07.642326
- Title: Homological Convolutional Neural Networks
- Title（参考訳）: ホモロジー畳み込みニューラルネットワーク
- Authors: Antonio Briola, Yuanrong Wang, Silvia Bartolucci, Tomaso Aste
- Abstract要約: 本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
- 参考スコア（独自算出の注目度）: 4.615338063719135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning methods have demonstrated outstanding performances on
classification and regression tasks on homogeneous data types (e.g., image,
audio, and text data). However, tabular data still pose a challenge, with
classic machine learning approaches being often computationally cheaper and
equally effective than increasingly complex deep learning architectures. The
challenge arises from the fact that, in tabular data, the correlation among
features is weaker than the one from spatial or semantic relationships in
images or natural language, and the dependency structures need to be modeled
without any prior information. In this work, we propose a novel deep learning
architecture that exploits the data structural organization through
topologically constrained network representations to gain relational
information from sparse tabular inputs. The resulting model leverages the power
of convolution and is centered on a limited number of concepts from network
topology to guarantee: (i) a data-centric and deterministic building pipeline;
(ii) a high level of interpretability over the inference process; and (iii) an
adequate room for scalability. We test our model on 18 benchmark datasets
against 5 classic machine learning and 3 deep learning models, demonstrating
that our approach reaches state-of-the-art performances on these challenging
datasets. The code to reproduce all our experiments is provided at
https://github.com/FinancialComputingUCL/HomologicalCNN.
- Abstract（参考訳）: ディープラーニング手法は、均質なデータ型(画像、音声、テキストデータなど)の分類と回帰タスクにおいて優れた性能を示している。
しかし、古典的な機械学習アプローチは、ますます複雑なディープラーニングアーキテクチャよりも計算的に安価で、効果的であることが多い。
この課題は、表データにおいて、画像や自然言語における空間的あるいは意味的な関係性よりも特徴間の相関が弱く、依存関係構造は事前情報なしでモデル化する必要があるという事実から生じる。
本研究では,空間的に制約されたネットワーク表現を通じてデータ構造を生かし,疎グラフ入力から関係情報を得る,新しいディープラーニングアーキテクチャを提案する。
結果として得られたモデルは畳み込みの力を活用し、ネットワークトポロジから保証まで、限られた数の概念に集中します。
(i)データ中心で決定論的な構築パイプライン
(ii) 推論過程に対する高いレベルの解釈可能性
(iii)スケーラビリティのための十分なスペース。
5つの古典的機械学習と3つのディープラーニングモデルに対して18のベンチマークデータセットでモデルをテストすることで、これらの挑戦的なデータセットにおいて、我々のアプローチが最先端のパフォーマンスに到達できることを示しました。
すべての実験を再現するコードは、https://github.com/FinancialComputingUCL/HomologicalCNNで提供されている。
関連論文リスト
- Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。
SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-10-23T10:50:07Z) - How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。
SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
論文 参考訳（メタデータ） (2024-04-16T17:01:27Z) - On Characterizing the Evolution of Embedding Space of Neural Networks
using Algebraic Topology [9.537910170141467]
特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。
深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
論文 参考訳（メタデータ） (2023-11-08T10:45:12Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - Homological Neural Networks: A Sparse Architecture for Multivariate
Complexity [0.0]
我々は,基礎となるデータのホモロジー構造上に構築された,疎密な高階グラフィカルアーキテクチャを特徴とする,新しいディープニューラルネットワークユニットを開発する。
その結果、この新しい設計の利点は、ごく少数のパラメータだけで最先端の機械学習モデルとディープラーニングモデルの結果を結び付けるか、克服することができる。
論文 参考訳（メタデータ） (2023-06-27T09:46:16Z) - Towards Robust Dataset Learning [90.2590325441068]
本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。
ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
論文 参考訳（メタデータ） (2022-11-19T17:06:10Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳（メタデータ） (2021-06-10T21:04:18Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。