Fugu-MT 論文翻訳(概要): Sparse Covariance Neural Networks

論文の概要: Sparse Covariance Neural Networks

arxiv url: http://arxiv.org/abs/2410.01669v2
Date: Mon, 29 Sep 2025 16:35:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-01 21:59:07.50304
Title: Sparse Covariance Neural Networks
Title（参考訳）: スパース共分散ニューラルネットワーク
Authors: Andrea Cavallo, Zhan Gao, Elvin Isufi,
Abstract要約: 本稿では,サンプル共分散行列にスペーシフィケーション手法を適用し,後者をVNNアーキテクチャに組み込むフレームワークを提案する。 S-VNNは、名目VNNや類似のスパース主成分分析よりも有限サンプル共分散推定の方が安定であることを示す。我々は、脳データから人間の行動認識まで、様々な応用シナリオに関する実験結果を用いて、理論的な結果をサポートし、タスク性能の向上、安定性の向上、代替よりも計算時間を短縮した。
参考スコア（独自算出の注目度）: 24.009203223031676
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Covariance Neural Networks (VNNs) perform graph convolutions on the covariance matrix of input data to leverage correlation information as pairwise connections. They have achieved success in a multitude of applications such as neuroscience, financial forecasting, and sensor networks. However, the empirical covariance matrix on which VNNs operate typically contains spurious correlations, creating a mismatch with the actual covariance matrix that degrades VNNs' performance and computational efficiency. To tackle this issue, we put forth Sparse coVariance Neural Networks (S-VNNs), a framework that applies sparsification techniques on the sample covariance matrix and incorporates the latter into the VNN architecture. We investigate the S-VNN when the underlying data covariance matrix is both sparse and dense. When the true covariance matrix is sparse, we propose hard and soft thresholding to improve the covariance estimation and reduce the computational cost. Instead, when the true covariance is dense, we propose a stochastic sparsification where data correlations are dropped in probability according to principled strategies. Besides performance and computation improvements, we show that S-VNNs are more stable to finite-sample covariance estimations than nominal VNNs and the analogous sparse principal component analysis. By analyzing the impact of sparsification on their behavior, we tie the S-VNN stability to the data distribution and sparsification approach. We support our theoretical findings with experimental results on a variety of application scenarios, ranging from brain data to human action recognition, and show an improved task performance, improved stability, and reduced computational time compared to alternatives.
Abstract（参考訳）: 共分散ニューラルネットワーク(VNN)は、入力データの共分散行列上でグラフ畳み込みを行い、相関情報をペア接続として活用する。彼らは神経科学、金融予測、センサーネットワークなどの様々な応用で成功している。しかしながら、VNNが動作する経験的共分散行列は、典型的には急激な相関を含み、VNNの性能と計算効率を低下させる実際の共分散行列とのミスマッチを生成する。この問題に対処するため,サンプル共分散行列にスペーシフィケーション技術を適用し,後者をVNNアーキテクチャに組み込んだSparse coVariance Neural Networks(S-VNNs)を提案する。基礎となるデータ共分散行列がスパースかつ高密度である場合、S-VNNについて検討する。真の共分散行列がスパースである場合、共分散推定の改善と計算コストの削減を目的として、ハードかつソフトな閾値付けを提案する。代わりに、真の共分散が密接な場合、原理的戦略に従ってデータ相関が確率的に減少する確率的スパーシフィケーションを提案する。性能と計算性能の改善に加えて、S-VNNは名目VNNや類似のスパース主成分分析よりも有限サンプル共分散推定の方が安定であることを示す。スパシフィケーションの効果を分析することにより,S-VNNの安定性をデータ分散とスパシフィケーションのアプローチに結びつける。我々は、脳データから人間の行動認識まで、様々な応用シナリオに関する実験結果を用いて、理論的な結果をサポートし、タスク性能の向上、安定性の向上、代替よりも計算時間を短縮した。

関連論文リスト

Covariance Density Neural Networks [5.4141465747474475]
グラフニューラルネットワークは、ネットワークデータのモデル化と予測方法を再定義した。シグナルをモデル化する基盤となる正しいグラフ構造を選択することには、コンセンサスがない。我々は,脳波脳波画像分類において,被験者に依存しない脳波脳波画像分類において高い性能が得られることを示す。
論文参考訳（メタデータ） (2025-05-16T11:38:13Z)
Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文参考訳（メタデータ） (2024-01-19T23:48:04Z)
Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文参考訳（メタデータ） (2023-12-19T12:25:10Z)
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文参考訳（メタデータ） (2023-10-16T19:54:21Z)
Adversarial Attacks to Latent Representations of Distributed Neural Networks in Split Computing [7.6340310234573465]
分散ディープニューラルネットワーク(DNN)は、モバイルデバイスの計算負担を低減し、エッジコンピューティングシナリオにおけるエンドツーエンドの推論レイテンシを低減することが示されている。本稿では,分散DNNの対戦行動に対するロバスト性を厳格に分析することにより,既存の研究ギャップを埋める。
論文参考訳（メタデータ） (2023-09-29T17:01:29Z)
Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文参考訳（メタデータ） (2023-05-02T22:15:54Z)
Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文参考訳（メタデータ） (2022-06-26T16:00:22Z)
Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
論文参考訳（メタデータ） (2022-06-20T07:07:41Z)
Integrating Random Effects in Deep Neural Networks [4.860671253873579]
深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
論文参考訳（メタデータ） (2022-06-07T14:02:24Z)
coVariance Neural Networks [119.45320143101381]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。 VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
論文参考訳（メタデータ） (2022-05-31T15:04:43Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。