Fugu-MT 論文翻訳(概要): Sparse Covariance Neural Networks

論文の概要: Sparse Covariance Neural Networks

arxiv url: http://arxiv.org/abs/2410.01669v1
Date: Wed, 2 Oct 2024 15:37:12 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 16:13:24.562835
Title: Sparse Covariance Neural Networks
Title（参考訳）: スパース共分散ニューラルネットワーク
Authors: Andrea Cavallo, Zhan Gao, Elvin Isufi,
Abstract要約: スパース共分散ニューラルネットワーク(S-VNN)は,名目VNNよりも安定であることを示す。本稿では, S-VNNのタスク性能, 安定性, 計算効率を, 名目VNNと比較して改善したことを示す。
参考スコア（独自算出の注目度）: 15.616852692528594
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Covariance Neural Networks (VNNs) perform graph convolutions on the covariance matrix of tabular data and achieve success in a variety of applications. However, the empirical covariance matrix on which the VNNs operate may contain many spurious correlations, making VNNs' performance inconsistent due to these noisy estimates and decreasing their computational efficiency. To tackle this issue, we put forth Sparse coVariance Neural Networks (S-VNNs), a framework that applies sparsification techniques on the sample covariance matrix before convolution. When the true covariance matrix is sparse, we propose hard and soft thresholding to improve covariance estimation and reduce computational cost. Instead, when the true covariance is dense, we propose stochastic sparsification where data correlations are dropped in probability according to principled strategies. We show that S-VNNs are more stable than nominal VNNs as well as sparse principal component analysis. By analyzing the impact of sparsification on their behavior, we provide novel connections between S-VNN stability and data distribution. We support our theoretical findings with experimental results on various application scenarios, ranging from brain data to human action recognition, and show an improved task performance, stability, and computational efficiency of S-VNNs compared with nominal VNNs.
Abstract（参考訳）: 共分散ニューラルネットワーク(VNN)は、表データの共分散行列上でグラフ畳み込みを行い、様々なアプリケーションで成功する。しかしながら、VNNが動作している経験的共分散行列は、多くのスプリアス相関を含む可能性があるため、これらのノイズの多い推定により、VNNのパフォーマンスが矛盾し、計算効率が低下する。この問題に対処するため,共分散行列にスペース化手法を適用したSparse coVariance Neural Networks (S-VNNs) を作成した。真の共分散行列がスパースである場合、共分散推定を改善し、計算コストを削減するために、硬度および軟度閾値付けを提案する。代わりに、真の共分散が密接な場合、原理的戦略に従ってデータ相関が確率的に減少する確率的スパーシフィケーションを提案する。その結果,S-VNNは名目上のVNNよりも安定であり,主成分分析も容易であることがわかった。スパシフィケーションの影響を解析することにより,S-VNNの安定性とデータ分布の新たな関連性を提供する。我々は,脳データから人間の行動認識に至るまで,様々な応用シナリオに関する実験結果を用いて,S-VNNのタスク性能,安定性,計算効率の向上を示す。

関連論文リスト

Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文参考訳（メタデータ） (2024-01-19T23:48:04Z)
Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文参考訳（メタデータ） (2023-12-19T12:25:10Z)
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文参考訳（メタデータ） (2023-10-16T19:54:21Z)
Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文参考訳（メタデータ） (2023-05-02T22:15:54Z)
Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文参考訳（メタデータ） (2022-06-26T16:00:22Z)
Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
論文参考訳（メタデータ） (2022-06-20T07:07:41Z)
Integrating Random Effects in Deep Neural Networks [4.860671253873579]
深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
論文参考訳（メタデータ） (2022-06-07T14:02:24Z)
coVariance Neural Networks [119.45320143101381]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。 VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
論文参考訳（メタデータ） (2022-05-31T15:04:43Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。