論文の概要: Deviance Matrix Factorization
- arxiv url: http://arxiv.org/abs/2110.05674v3
- Date: Fri, 30 Jun 2023 23:08:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 16:39:01.603595
- Title: Deviance Matrix Factorization
- Title(参考訳): 分散行列因子化
- Authors: Liang Wang, Luis Carvalho
- Abstract要約: 偏差に基づくデータ損失に対する一般的な行列係数化について検討し、任意の特異値分解を2乗誤差損失を超えて拡張する。
本手法は,一般化線形モデル(GLM)から古典統計手法を応用し,入射重みによる構造零点の許容に十分柔軟な効率的なアルゴリズムを提供する。
- 参考スコア(独自算出の注目度): 6.509665408765348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate a general matrix factorization for deviance-based data losses,
extending the ubiquitous singular value decomposition beyond squared error
loss. While similar approaches have been explored before, our method leverages
classical statistical methodology from generalized linear models (GLMs) and
provides an efficient algorithm that is flexible enough to allow for structural
zeros via entry weights. Moreover, by adapting results from GLM theory, we
provide support for these decompositions by (i) showing strong consistency
under the GLM setup, (ii) checking the adequacy of a chosen exponential family
via a generalized Hosmer-Lemeshow test, and (iii) determining the rank of the
decomposition via a maximum eigenvalue gap method. To further support our
findings, we conduct simulation studies to assess robustness to decomposition
assumptions and extensive case studies using benchmark datasets from image face
recognition, natural language processing, network analysis, and biomedical
studies. Our theoretical and empirical results indicate that the proposed
decomposition is more flexible, general, and robust, and can thus provide
improved performance when compared to similar methods. To facilitate
applications, an R package with efficient model fitting and family and rank
determination is also provided.
- Abstract(参考訳): 逸脱に基づくデータ損失に対する一般化行列因子分解について検討し、ユビキタス特異値分解を二乗誤差損失を超えて拡張する。
同様の手法がこれまで検討されてきたが,本手法は一般化線形モデル(GLMs)から古典統計手法を活用し,入射重みによる構造零点の許容に十分柔軟な効率的なアルゴリズムを提供する。
さらに、GLM理論の結果に適応することにより、これらの分解を支援する。
(i)GLM設定下において強い整合性を示す。
(ii)一般化ホスマー・ルメショー検定による選択指数関数族の妥当性の検証、及び
(iii)最大固有値ギャップ法による分解のランクを決定する。
本研究は, 画像認識, 自然言語処理, ネットワーク解析, バイオメディカル研究から得られたベンチマークデータセットを用いて, 分解仮定に対する堅牢性を評価するためのシミュレーション研究を行う。
理論的および実証的な結果から,提案手法はより柔軟で汎用的で堅牢であり,類似手法と比較して性能が向上することが示された。
応用を容易にするため、効率的なモデルフィッティング及びファミリー及びランク決定を備えたRパッケージも提供される。
関連論文リスト
- Symmetry Nonnegative Matrix Factorization Algorithm Based on Self-paced Learning [10.6600050775306]
モデルのクラスタリング性能を向上させるために, 対称非負行列分解法を提案した。
全ての試料の難易度を測定できる重み変数を割り当てた。
実験の結果,提案アルゴリズムの有効性が示された。
論文 参考訳(メタデータ) (2024-10-20T06:33:02Z) - Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。
本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-02T04:01:38Z) - Learning Large Causal Structures from Inverse Covariance Matrix via
Sparse Matrix Decomposition [2.403264213118039]
本稿では,逆共分散行列から因果構造を学習することに焦点を当てる。
提案手法は,行列分解モデルの連続的最適化に基づくICIDと呼ばれる。
本研究では,ノイズ分散の知識を前提として,提案した指向性非巡回グラフ(DAG)を効率よく同定することを示す。
論文 参考訳(メタデータ) (2022-11-25T16:32:56Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳(メタデータ) (2022-11-03T16:42:40Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳(メタデータ) (2022-10-21T13:19:45Z) - Robust Regularized Low-Rank Matrix Models for Regression and
Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。
アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文 参考訳(メタデータ) (2022-05-14T18:03:48Z) - Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。
我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。
特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
論文 参考訳(メタデータ) (2021-06-21T15:19:52Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Sparse Methods for Automatic Relevance Determination [0.0]
まず、自動妥当性決定(ARD)について検討し、スパースモデルを実現するために、追加の正規化やしきい値設定の必要性を解析的に実証する。
次に、正規化ベースとしきい値ベースという2つの手法のクラスについて論じる。
論文 参考訳(メタデータ) (2020-05-18T14:08:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。