論文の概要: Covariance Scattering Transforms
- arxiv url: http://arxiv.org/abs/2511.08878v1
- Date: Thu, 13 Nov 2025 01:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-13 22:34:54.277696
- Title: Covariance Scattering Transforms
- Title(参考訳): 共分散散乱変換
- Authors: Andrea Cavallo, Ayushman Raghuvanshi, Sundeep Prabhakar Chepuri, Elvin Isufi,
- Abstract要約: 本稿では,共分散スペクトルに局在したフィルタを入力データに適用し,非線形性により表現的階層表現を生成する深層学習ネットワークを提案する。
我々の実験では、CSTはVNNのように低データ設定で安定した表現を生成するが、トレーニングは行わず、同等あるいはより良い予測をもたらす。
- 参考スコア(独自算出の注目度): 36.771729185178586
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning and data processing techniques relying on covariance information are widespread as they identify meaningful patterns in unsupervised and unlabeled settings. As a prominent example, Principal Component Analysis (PCA) projects data points onto the eigenvectors of their covariance matrix, capturing the directions of maximum variance. This mapping, however, falls short in two directions: it fails to capture information in low-variance directions, relevant when, e.g., the data contains high-variance noise; and it provides unstable results in low-sample regimes, especially when covariance eigenvalues are close. CoVariance Neural Networks (VNNs), i.e., graph neural networks using the covariance matrix as a graph, show improved stability to estimation errors and learn more expressive functions in the covariance spectrum than PCA, but require training and operate in a labeled setup. To get the benefits of both worlds, we propose Covariance Scattering Transforms (CSTs), deep untrained networks that sequentially apply filters localized in the covariance spectrum to the input data and produce expressive hierarchical representations via nonlinearities. We define the filters as covariance wavelets that capture specific and detailed covariance spectral patterns. We improve CSTs' computational and memory efficiency via a pruning mechanism, and we prove that their error due to finite-sample covariance estimations is less sensitive to close covariance eigenvalues compared to PCA, improving their stability. Our experiments on age prediction from cortical thickness measurements on 4 datasets collecting patients with neurodegenerative diseases show that CSTs produce stable representations in low-data settings, as VNNs but without any training, and lead to comparable or better predictions w.r.t. more complex learning models.
- Abstract(参考訳): 機械学習とデータ処理技術は、教師なしおよびラベルなしの設定において意味のあるパターンを特定するため、共分散情報に依存する。
顕著な例として、主成分分析(PCA)はデータポイントを共分散行列の固有ベクトルに投影し、最大分散の方向を捉える。
しかし、このマッピングは、低分散方向の情報(例えば、そのデータが高分散ノイズを含む場合)を捉えることができず、特に共分散固有値が近接している場合、低サンプル状態において不安定な結果をもたらす。
共分散行列をグラフとして用いたグラフニューラルネットワーク(英語版)(VNN)は、推定誤差に対する安定性を改善し、PCAよりも共分散スペクトルにおけるより表現力のある関数を学習するが、トレーニングとラベル付き設定で操作する必要がある。
両世界の利点を得るために,共分散散乱変換(CST)を提案する。これは,共分散スペクトルに局所化されたフィルタを入力データに順次適用し,非線形性を通じて表現的階層表現を生成するネットワークである。
フィルタを、特定の共分散スペクトルパターンと詳細な共分散スペクトルパターンをキャプチャする共分散ウェーブレットとして定義する。
我々は, 有限サンプル共分散推定による誤差がPCAに比べて近接共分散固有値に対する感度が低く, 安定性が向上することを示す。
神経変性疾患の患者を収集する4つのデータセットの皮質厚測定による年齢予測実験により、CSTは、VNNのように低データ設定で安定した表現を生成できるが、トレーニングは行わず、より複雑な学習モデルに匹敵する、あるいはより良い予測をもたらすことが示された。
関連論文リスト
- Precision Neural Networks: Joint Graph And Relational Learning [36.05842226689587]
共分散ニューラルネットワーク(VNN)は、データの共分散行列によって決定されたグラフ上で畳み込みを行う。
精度行列(逆共分散)の精度ニューラルネットワーク(PNN)について検討する。
我々は,ネットワークパラメータと精度行列を協調的に学習する最適化問題を定式化し,交互に最適化することで解決する。
論文 参考訳(メタデータ) (2025-09-18T10:22:05Z) - Sparse Covariance Neural Networks [24.009203223031676]
本稿では,サンプル共分散行列にスペーシフィケーション手法を適用し,後者をVNNアーキテクチャに組み込むフレームワークを提案する。
S-VNNは、名目VNNや類似のスパース主成分分析よりも有限サンプル共分散推定の方が安定であることを示す。
我々は、脳データから人間の行動認識まで、様々な応用シナリオに関する実験結果を用いて、理論的な結果をサポートし、タスク性能の向上、安定性の向上、代替よりも計算時間を短縮した。
論文 参考訳(メタデータ) (2024-10-02T15:37:12Z) - Spatiotemporal Covariance Neural Networks [10.855602842179621]
本稿では,時系列のサンプル共分散行列を用いた関係学習モデルを導入し,データのモデル化に共同時間畳み込みを利用する。
我々は,STVNNが安定であり,時間的PCAに基づく手法よりも改善されていることを証明した。
論文 参考訳(メタデータ) (2024-09-16T08:05:58Z) - Multi-Source and Test-Time Domain Adaptation on Multivariate Signals using Spatio-Temporal Monge Alignment [59.75420353684495]
コンピュータビジョンやバイオメディカルデータなどの信号に対する機械学習の応用は、ハードウェアデバイスやセッション記録にまたがる変動のため、しばしば課題に直面している。
本研究では,これらの変動を緩和するために,時空間モンジュアライメント(STMA)を提案する。
我々はSTMAが、非常に異なる設定で取得したデータセット間で、顕著で一貫したパフォーマンス向上をもたらすことを示す。
論文 参考訳(メタデータ) (2024-07-19T13:33:38Z) - Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。
多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。
我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
論文 参考訳(メタデータ) (2024-06-20T02:23:28Z) - coVariance Neural Networks [119.45320143101381]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。
我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。
VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
論文 参考訳(メタデータ) (2022-05-31T15:04:43Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。
本稿では,VAEの整合性を強制する正規化手法を提案する。
論文 参考訳(メタデータ) (2021-05-31T10:26:32Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳(メタデータ) (2020-10-22T17:18:48Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳(メタデータ) (2020-06-10T12:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。