論文の概要: Learning with Diversification from Block Sparse Signal
- arxiv url: http://arxiv.org/abs/2402.04646v1
- Date: Wed, 7 Feb 2024 08:18:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 16:15:28.194284
- Title: Learning with Diversification from Block Sparse Signal
- Title(参考訳): ブロックスパース信号からの多様化による学習
- Authors: Yanhao Zhang, Zhihan Zhu and Yong Xia
- Abstract要約: 実世界のデータに広汎なブロック間隔現象を特徴付けるために, バラエティブロックスパース(Diversified Block Sparse)という小説を紹介した。
分散と相関行列の多様化を可能とすることにより、既存のブロックスパース学習手法の感度を予め定義されたブロック情報に効果的に対処する。
- 参考スコア(独自算出の注目度): 18.673423625216365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a novel prior called Diversified Block Sparse Prior to
characterize the widespread block sparsity phenomenon in real-world data. By
allowing diversification on variance and correlation matrix, we effectively
address the sensitivity issue of existing block sparse learning methods to
pre-defined block information, which enables adaptive block estimation while
mitigating the risk of overfitting. Based on this, a diversified block sparse
Bayesian learning method (DivSBL) is proposed, utilizing EM algorithm and dual
ascent method for hyperparameter estimation. Moreover, we establish the global
and local optimality theory of our model. Experiments validate the advantages
of DivSBL over existing algorithms.
- Abstract(参考訳): 本稿では,実世界データに広く分布するブロックスパース現象を特徴付けるために,先述した多角化ブロックスパースを提案する。
分散と相関行列の多様化を可能とし,既定ブロック情報に対する既存のブロックスパース学習手法の感度問題に効果的に対応し,オーバーフィッティングのリスクを軽減しつつ適応ブロック推定を可能にする。
これに基づいて、EMアルゴリズムと双対昇降法による超パラメータ推定法を用いて、分散ブロックスパースベイズ学習法(DivSBL)を提案する。
さらに、このモデルの大域的および局所的最適性理論を確立する。
実験は既存のアルゴリズムよりもDivSBLの利点を検証する。
関連論文リスト
- Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳(メタデータ) (2023-03-17T02:01:11Z) - Variable Clustering via Distributionally Robust Nodewise Regression [7.289979396903827]
可変クラスタリングのための多要素ブロックモデルについて検討し、ノード単位回帰の分布的ロバストなバージョンを定式化することにより、正規化サブスペースクラスタリングに接続する。
我々は凸緩和を導出し、ロバスト領域のサイズを選択するためのガイダンスを与え、そのためデータに基づいて正規化重み付けパラメータを提案し、実装のためのADMMアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-15T16:23:25Z) - Differentiable Dictionary Search: Integrating Linear Mixing with Deep
Non-Linear Modelling for Audio Source Separation [8.680081568962997]
本稿では,DDS (diffari Dictionary Search) という名で最近開発した信号分解法の改良について述べる。
基本的な考え方は、正規化フローと呼ばれる強力な非可逆密度推定器のクラスを利用して、NMFのような線形分解法で辞書をモデル化することである。
最初の定式化はいくつかの実用的な制限を伴う概念実証であり、拡張性を示すためのいくつかのステップを提示します。
論文 参考訳(メタデータ) (2022-11-28T16:37:02Z) - Semi-Blind Source Separation with Learned Constraints [1.2891210250935146]
ブラインドソース分離 (BSS) アルゴリズムは、ハイパースペクトルデータ解析のための教師なしの手法である。
本稿では,予測された最小二乗アルゴリズムと学習に基づく正規化スキームを組み合わせた半教師付きソース分離手法について検討する。
これにより、物理的に解釈可能な解を提供する精度が向上し、革新的なBSSアルゴリズムが実現できることが示される。
論文 参考訳(メタデータ) (2022-09-27T17:58:23Z) - Risk Consistent Multi-Class Learning from Label Proportions [64.0125322353281]
本研究は,バッグにトレーニングインスタンスを提供するMCLLP設定によるマルチクラス学習に対処する。
既存のほとんどのMCLLPメソッドは、インスタンスの予測や擬似ラベルの割り当てにバッグワイズな制約を課している。
経験的リスク最小化フレームワークを用いたリスク一貫性手法を提案する。
論文 参考訳(メタデータ) (2022-03-24T03:49:04Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳(メタデータ) (2022-02-10T06:23:56Z) - Efficient Reinforcement Learning in Block MDPs: A Model-free
Representation Learning Approach [73.62265030773652]
ブロック構造力学を用いたマルコフ決定過程における効率的な強化学習アルゴリズムであるBRIEEを提案する。
BRIEEは、潜伏状態の発見、探索、搾取を相互にインターリーブし、ほぼ最適な政策を確実に学べる。
我々は、BRIEEが最先端のBlock MDPアルゴリズムであるHOMER RLや、リッチ・オブザーブレーションの組み合わせロック問題に挑戦する経験的ベースラインよりも、より標本効率が高いことを示す。
論文 参考訳(メタデータ) (2022-01-31T19:47:55Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳(メタデータ) (2021-07-23T06:57:08Z) - Stochastic Block-ADMM for Training Deep Networks [16.369102155752824]
ディープニューラルネットワークをバッチおよびオンライン設定でトレーニングする手法として,Block-ADMMを提案する。
本手法はニューラルネットワークを任意の数のブロックに分割し,これらのブロックを補助変数で接続する。
我々は,提案手法の収束を証明し,教師あり・弱教師あり設定実験を通じてその能力の正当化を行う。
論文 参考訳(メタデータ) (2021-05-01T19:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。