論文の概要: Learning under Latent Group Sparsity via Diffusion on Networks
- arxiv url: http://arxiv.org/abs/2507.15097v1
- Date: Sun, 20 Jul 2025 19:32:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.194432
- Title: Learning under Latent Group Sparsity via Diffusion on Networks
- Title（参考訳）: ネットワーク上の拡散による潜時グループ空間の学習
- Authors: Subhroshekhar Ghosh, Soumendu Sundar Mukherjee,
- Abstract要約: 機械学習問題における説明変数に関するグループまたはクラスタ構造は非常に一般的な現象であり、実践者や理論家からも広く関心を集めている。
このようなグループ構造下でのスパース学習へのアプローチに寄与し、グループアイデンティティに関する事前情報を必要としない。
- 参考スコア（独自算出の注目度）: 8.732260277121547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group or cluster structure on explanatory variables in machine learning problems is a very general phenomenon, which has attracted broad interest from practitioners and theoreticians alike. In this work we contribute an approach to sparse learning under such group structure, that does not require prior information on the group identities. Our paradigm is motivated by the Laplacian geometry of an underlying network with a related community structure, and proceeds by directly incorporating this into a penalty that is effectively computed via a heat-flow-based local network dynamics. The proposed penalty interpolates between the lasso and the group lasso penalties, the runtime of the heat-flow dynamics being the interpolating parameter. As such it can automatically default to lasso when the group structure reflected in the Laplacian is weak. In fact, we demonstrate a data-driven procedure to construct such a network based on the available data. Notably, we dispense with computationally intensive pre-processing involving clustering of variables, spectral or otherwise. Our technique is underpinned by rigorous theorems that guarantee its effective performance and provide bounds on its sample complexity. In particular, in a wide range of settings, it provably suffices to run the diffusion for time that is only logarithmic in the problem dimensions. We explore in detail the interfaces of our approach with key statistical physics models in network science, such as the Gaussian Free Field and the Stochastic Block Model. Our work raises the possibility of applying similar diffusion-based techniques to classical learning tasks, exploiting the interplay between geometric, dynamical and stochastic structures underlying the data.
- Abstract（参考訳）: 機械学習問題における説明変数に関するグループまたはクラスタ構造は非常に一般的な現象であり、実践者や理論家からも広く関心を集めている。
本研究は,グループアイデンティティに関する事前情報を必要としない群構造下でのスパース学習へのアプローチに寄与する。
このパラダイムは,コミュニティ構造を持つ基盤ネットワークのラプラシアン幾何学によって動機付けられ,これを熱フローに基づく局所ネットワーク力学を用いて効果的に計算したペナルティに直接組み込む。
提案したペナルティはラッソとグループラッソのペナルティを補間する。
そのため、ラプラシアンに反映される群構造が弱い場合には、自動的にラッソにデフォルトにすることができる。
実際、利用可能なデータに基づいてそのようなネットワークを構築するためのデータ駆動方式を実証する。
特に、変数やスペクトルなどのクラスタリングを含む計算集約的な事前処理は不要である。
提案手法は, 有効性能を保証し, サンプルの複雑さに限界を与える厳密な定理に支えられている。
特に、幅広い設定において、問題次元において対数しか持たない時間で拡散を実行するのに十分である。
我々は,ガウス自由場や確率ブロックモデルなど,ネットワーク科学における重要な統計物理モデルを用いたアプローチのインターフェースを詳細に検討する。
我々の研究は、幾何学的、動的、確率的構造間の相互作用を利用して、古典的な学習課題に同様の拡散に基づく手法を適用する可能性を高める。
関連論文リスト
- Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。
本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。
残る技術的課題や倫理的考察も分析する。
論文 参考訳（メタデータ） (2025-06-05T05:42:27Z) - Tipping Points of Evolving Epidemiological Networks: Machine
Learning-Assisted, Data-Driven Effective Modeling [0.0]
適応型感受性感染症(SIS)疫学ネットワークのチップポイント集団動態を,データ駆動型機械学習支援方式で検討した。
複素実効微分方程式(eSDE)を物理的に有意な粗い平均場変数で同定する。
本研究では, 頻繁な現象の統計を, 繰り返しブルート力シミュレーションと, 確立された数学的・計算ツールを用いて研究する。
論文 参考訳（メタデータ） (2023-11-01T19:33:03Z) - Fast inference of latent space dynamics in huge relational event
networks [0.0]
巨大イベントネットワークに対処可能な確率に基づくアルゴリズムを提案する。
本研究では,解釈可能な潜在空間に埋め込まれたネットワークコミュニティのダイナミクスを推定するための階層的戦略を提案する。
大規模ネットワークでフレームワークを実現するには、機械学習最適化の方法論を借りる。
論文 参考訳（メタデータ） (2023-03-29T15:18:56Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Bayesian Detection of Mesoscale Structures in Pathway Data on Graphs [0.0]
メソスケール構造は 複雑なシステムの抽象化と解析の 不可欠な部分です
それらは、社会的または引用ネットワークにおけるコミュニティ、企業間相互作用における役割、または輸送ネットワークにおける中核周辺構造におけるコミュニティを表現することができる。
我々は,グループ内のノードの最適分割と高次ネットワークの最適ダイナミクスを同時にモデル化するベイズ的アプローチを導出する。
論文 参考訳（メタデータ） (2023-01-16T12:45:33Z) - Learning with latent group sparsity via heat flow dynamics on networks [5.076419064097734]
機械学習問題における説明変数上のグループまたはクラスタ構造は非常に一般的な現象である。
このようなグループ構造下での学習には,グループアイデンティティに関する事前情報を必要としないアプローチに寄与する。
我々は、利用可能なデータに基づいて、そのようなネットワークを構築する手順を実証する。
論文 参考訳（メタデータ） (2022-01-20T17:45:57Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳（メタデータ） (2020-12-05T22:58:37Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。