論文の概要: Efficient Network Automatic Relevance Determination

• arxiv url: http://arxiv.org/abs/2506.12352v1
• Date: Sat, 14 Jun 2025 05:20:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.903286
• Title: Efficient Network Automatic Relevance Determination
• Title（参考訳）: ネットワーク自動妥当性決定の効率化
• Authors: Hongwei Zhang, Ziqi Ye, Xinyuan Wang, Xin Guo, Zenglin Xu, Yuan Cheng, Zixin Hu, Yuan Qi,
• Abstract要約: Network Automatic Relevance determined (NARD)は、線形確率モデルのためのARDの拡張である。 NARD は mathbb Rd 倍 N$ の入力のスパース関係を同時にモデル化し、mathbb Rm 倍 N$ の入力の $Y を出力する。
• 参考スコア（独自算出の注目度）: 30.611086842690426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Network Automatic Relevance Determination (NARD), an extension of ARD for linearly probabilistic models, to simultaneously model sparse relationships between inputs $X \in \mathbb R^{d \times N}$ and outputs $Y \in \mathbb R^{m \times N}$, while capturing the correlation structure among the $Y$. NARD employs a matrix normal prior which contains a sparsity-inducing parameter to identify and discard irrelevant features, thereby promoting sparsity in the model. Algorithmically, it iteratively updates both the precision matrix and the relationship between $Y$ and the refined inputs. To mitigate the computational inefficiencies of the $\mathcal O(m^3 + d^3)$ cost per iteration, we introduce Sequential NARD, which evaluates features sequentially, and a Surrogate Function Method, leveraging an efficient approximation of the marginal likelihood and simplifying the calculation of determinant and inverse of an intermediate matrix. Combining the Sequential update with the Surrogate Function method further reduces computational costs. The computational complexity per iteration for these three methods is reduced to $\mathcal O(m^3+p^3)$, $\mathcal O(m^3 + d^2)$, $\mathcal O(m^3+p^2)$, respectively, where $p \ll d$ is the final number of features in the model. Our methods demonstrate significant improvements in computational efficiency with comparable performance on both synthetic and real-world datasets.
• Abstract（参考訳）: 線形確率モデルのためのARDの拡張であるNetwork Automatic Relevance determination (NARD)を提案し、入力間の疎結合を同時にモデル化し、$X \in \mathbb R^{d \times N}$と$Y \in \mathbb R^{m \times N}$を出力する。 NARDは、無関係な特徴を特定し、破棄するために、スパーシリティ誘導パラメータを含む行列正規化を前もって採用し、それによってモデルのスパーシリティを促進する。 アルゴリズム的には、精度行列と$Y$と洗練された入力の関係を反復的に更新する。 逐次的特徴評価を行うSequential NARDと、限界確率の効率的な近似を利用して中間行列の行列式と逆式の計算を単純化するSurrogate Function Methodを導入し、反復当たりの$\mathcal O(m^3 + d^3)$コストの計算効率を緩和する。 Sequential 更新と Surrogate Function メソッドを組み合わせることで、計算コストをさらに削減できる。 これらの3つの手法の反復毎の計算複雑性は、$\mathcal O(m^3+p^3)$, $\mathcal O(m^3+d^2)$, $\mathcal O(m^3+p^2)$, $\mathcal O(m^3+p^2)$に縮められる。 提案手法は,合成データセットと実世界のデータセットに比較して,計算効率が大幅に向上したことを示す。

関連論文リスト

• Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms [65.42376001308064]
  複素勾配問題に対する2つの分散化ZO推定器を提案する。 我々は、現在最先端の機能複雑性を$mathcalOleft(minfracdn1/2epsilon2, fracdepsilon3right)$から$tildecalOleft(fracdepsilon2right)$に改善する。
  論文  参考訳（メタデータ） (2024-10-03T15:04:01Z)
• Inverting the Leverage Score Gradient: An Efficient Approximate Newton Method [10.742859956268655]
  本稿では,レバレッジスコア勾配から固有モデルパラメータを復元することを目的とする。 具体的には、レバレッジスコア勾配の逆転を$g(x)$として精査する。
  論文  参考訳（メタデータ） (2024-08-21T01:39:42Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process Regression with Mat\'ern Correlations [23.560067934682294]
  マタン相関を用いた1次元ガウス過程回帰のための正確でスケーラブルなアルゴリズムを開発した。 提案アルゴリズムは,計算時間と予測精度の両方において,既存の代替手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2022-03-07T03:30:35Z)
• Computationally Efficient Approximations for Matrix-based Renyi's Entropy [33.72108955447222]
  最近開発された行列ベースのRenyiのエントロピーは、データ内の情報の計測を可能にする。 そのような量の計算には、PSD行列の$G$上のトレース演算子を$alpha$(つまり$tr(Galpha)$)の電力とする。 我々は、この新しいエントロピー汎函数に対する計算学的に効率的な近似を示し、その複雑性を$O(n2)$よりもはるかに小さくすることができる。
  論文  参考訳（メタデータ） (2021-12-27T14:59:52Z)
• Mixability made efficient: Fast online multiclass logistic regression [68.8204255655161]
  我々は、混合性は最適な後悔を伴うアルゴリズムを得るための強力なツールであることを示した。 結果として得られる手法は、しばしば計算の複雑さに悩まされ、実用性が低下した。
  論文  参考訳（メタデータ） (2021-10-08T08:22:05Z)
• An Online Riemannian PCA for Stochastic Canonical Correlation Analysis [37.8212762083567]
  投影行列の再パラメータ化を用いた正準相関解析(CCA)のための効率的なアルゴリズム(RSG+)を提案する。 本論文は,その特性の定式化と技術的解析に主眼を置いているが,本実験により,一般的なデータセットに対する経験的挙動が極めて有望であることが確認された。
  論文  参考訳（メタデータ） (2021-06-08T23:38:29Z)
• List-Decodable Mean Estimation in Nearly-PCA Time [50.79691056481693]
  高次元におけるリストデコタブル平均推定の基本的な課題について検討する。 我々のアルゴリズムは、すべての$k = O(sqrtd) cup Omega(d)$に対して$widetildeO(ndk)$で実行されます。 我々のアルゴリズムの変種は、すべての$k$に対してランタイム$widetildeO(ndk)$を持ち、リカバリ保証の$O(sqrtlog k)$ Factorを犠牲にしている。
  論文  参考訳（メタデータ） (2020-11-19T17:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。