論文の概要: Learning with latent group sparsity via heat flow dynamics on networks
- arxiv url: http://arxiv.org/abs/2201.08326v1
- Date: Thu, 20 Jan 2022 17:45:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 13:56:19.336764
- Title: Learning with latent group sparsity via heat flow dynamics on networks
- Title（参考訳）: ネットワーク上の熱流力学による潜在群スパーシティの学習
- Authors: Subhroshekhar Ghosh and Soumendu Sundar Mukherjee
- Abstract要約: 機械学習問題における説明変数上のグループまたはクラスタ構造は非常に一般的な現象である。
このようなグループ構造下での学習には,グループアイデンティティに関する事前情報を必要としないアプローチに寄与する。
我々は、利用可能なデータに基づいて、そのようなネットワークを構築する手順を実証する。
- 参考スコア（独自算出の注目度）: 5.076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group or cluster structure on explanatory variables in machine learning
problems is a very general phenomenon, which has attracted broad interest from
practitioners and theoreticians alike. In this work we contribute an approach
to learning under such group structure, that does not require prior information
on the group identities. Our paradigm is motivated by the Laplacian geometry of
an underlying network with a related community structure, and proceeds by
directly incorporating this into a penalty that is effectively computed via a
heat flow-based local network dynamics. In fact, we demonstrate a procedure to
construct such a network based on the available data. Notably, we dispense with
computationally intensive pre-processing involving clustering of variables,
spectral or otherwise. Our technique is underpinned by rigorous theorems that
guarantee its effective performance and provide bounds on its sample
complexity. In particular, in a wide range of settings, it provably suffices to
run the heat flow dynamics for time that is only logarithmic in the problem
dimensions. We explore in detail the interfaces of our approach with key
statistical physics models in network science, such as the Gaussian Free Field
and the Stochastic Block Model. We validate our approach by successful
applications to real-world data from a wide array of application domains,
including computer science, genetics, climatology and economics. Our work
raises the possibility of applying similar diffusion-based techniques to
classical learning tasks, exploiting the interplay between geometric, dynamical
and stochastic structures underlying the data.
- Abstract（参考訳）: 機械学習問題における説明変数に関するグループあるいはクラスタ構造は非常に一般的な現象であり、実践者や理論家からも広く関心を集めている。
本研究は,グループアイデンティティに関する事前情報を必要としない,そのようなグループ構造に基づく学習へのアプローチに寄与する。
このパラダイムは,コミュニティ構造を持つ基盤ネットワークのラプラシアン幾何学によって動機付けられ,これを熱フローに基づく局所ネットワーク力学を用いて効果的に計算したペナルティに直接組み込む。
実際、利用可能なデータに基づいてそのようなネットワークを構築する手順を実証する。
特に、変数やスペクトルなどのクラスタリングを含む計算集約的な事前処理は不要である。
本手法は, 有効性能を保証し, サンプルの複雑さに限界を与える厳密な定理を基礎とする。
特に、幅広い設定において、問題次元において対数である時間に対する熱流のダイナミクスの実行には十分である。
我々は,ガウス自由場や確率ブロックモデルなどのネットワーク科学における重要な統計物理モデルを用いたアプローチのインターフェースを詳細に検討する。
我々は、コンピュータ科学、遺伝学、気候学、経済学など、幅広い応用分野の実際のデータに適用することで、我々のアプローチを検証する。
本研究は,データの基礎となる幾何学的,動的,確率的構造間の相互作用を利用して,古典的学習タスクに類似した拡散に基づく手法を適用する可能性を高める。
関連論文リスト
- Tipping Points of Evolving Epidemiological Networks: Machine
Learning-Assisted, Data-Driven Effective Modeling [0.0]
適応型感受性感染症(SIS)疫学ネットワークのチップポイント集団動態を,データ駆動型機械学習支援方式で検討した。
複素実効微分方程式(eSDE)を物理的に有意な粗い平均場変数で同定する。
本研究では, 頻繁な現象の統計を, 繰り返しブルート力シミュレーションと, 確立された数学的・計算ツールを用いて研究する。
論文 参考訳（メタデータ） (2023-11-01T19:33:03Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳（メタデータ） (2021-11-02T10:51:42Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳（メタデータ） (2020-12-05T22:58:37Z) - A physics-informed operator regression framework for extracting
data-driven continuum models [0.0]
高忠実度分子シミュレーションデータから連続体モデルを発見するためのフレームワークを提案する。
提案手法は、モーダル空間における制御物理のニューラルネットワークパラメタライゼーションを適用する。
局所・非局所拡散過程や単相・多相流など,様々な物理分野におけるフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2020-09-25T01:13:51Z) - Deep learning of contagion dynamics on complex networks [0.0]
本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。
任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。
この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
論文 参考訳（メタデータ） (2020-06-09T17:18:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。