論文の概要: Supervised Dictionary Learning with Auxiliary Covariates
- arxiv url: http://arxiv.org/abs/2206.06774v1
- Date: Tue, 14 Jun 2022 12:10:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-15 21:28:13.794418
- Title: Supervised Dictionary Learning with Auxiliary Covariates
- Title(参考訳): 補助共変量を用いた教師付き辞書学習
- Authors: Joowon Lee, Hanbaek Lyu, Weixin Yao
- Abstract要約: Supervised Dictionary Learning (SDL) は、特徴抽出と分類タスクを同時に求める機械学習手法である。
結合因子空間における凸問題としてSDLを持ち上げる新しいフレームワークを提供する。
また, 胸部X線画像から得られた肺炎の指標として, 教師付きトピックモデリングによる文書分類の不均衡にSDLを適用した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised dictionary learning (SDL) is a classical machine learning method
that simultaneously seeks feature extraction and classification tasks, which
are not necessarily a priori aligned objectives. The goal of SDL is to learn a
class-discriminative dictionary, which is a set of latent feature vectors that
can well-explain both the features as well as labels of observed data. In this
paper, we provide a systematic study of SDL, including the theory, algorithm,
and applications of SDL. First, we provide a novel framework that `lifts' SDL
as a convex problem in a combined factor space and propose a low-rank projected
gradient descent algorithm that converges exponentially to the global minimizer
of the objective. We also formulate generative models of SDL and provide global
estimation guarantees of the true parameters depending on the hyperparameter
regime. Second, viewed as a nonconvex constrained optimization problem, we
provided an efficient block coordinate descent algorithm for SDL that is
guaranteed to find an $\varepsilon$-stationary point of the objective in
$O(\varepsilon^{-1}(\log \varepsilon^{-1})^{2})$ iterations. For the
corresponding generative model, we establish a novel non-asymptotic local
consistency result for constrained and regularized maximum likelihood
estimation problems, which may be of independent interest. Third, we apply SDL
for imbalanced document classification by supervised topic modeling and also
for pneumonia detection from chest X-ray images. We also provide simulation
studies to demonstrate that SDL becomes more effective when there is a
discrepancy between the best reconstructive and the best discriminative
dictionaries.
- Abstract(参考訳): Supervised Dictionary Learning (SDL) は、特徴抽出と分類タスクを同時に求める古典的な機械学習手法である。
SDLのゴールはクラス識別辞書を学習することであり、これは潜在特徴ベクトルの集合であり、特徴と観測されたデータのラベルの両方をうまく説明できる。
本稿では,SDLの理論,アルゴリズム,応用などを含むSDLの体系的研究を行う。
まず,複合因子空間における凸問題としてsdlを「リフト」する新しい枠組みを提案し,対象の大域的最小化に指数関数的に収束する低ランク射影勾配降下アルゴリズムを提案する。
また、sdlの生成モデルを作成し、ハイパーパラメータのレジームに依存する真のパラメータのグローバル推定保証を提供する。
第二に、非凸制約最適化問題と見なされるSDLに対して、$O(\varepsilon^{-1}(\log \varepsilon^{-1})^{2})$イテレーションで目的の$\varepsilon$-stationary点を見つけることが保証される効率的なブロック座標降下アルゴリズムを提供した。
対応する生成モデルに対して,非漸近的局所的一貫性を定式化し,独立な関心を持つ可能性を持つ制約付きおよび正規化された最大確率推定問題を解く。
第3に、教師付きトピックモデリングによる文書分類の不均衡と胸部X線画像からの肺炎検出にSDLを適用した。
また,ベストコンストラクション辞書とベストディクショナリの差異がある場合,sdlがより効果的になることを示すためのシミュレーション研究を行った。
関連論文リスト
- The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms [8.681909776958184]
本研究では,高次元最適化問題の大規模なクラスにおいて,学習速度と学習速度のダイナミクスを解析するためのフレームワークを開発する。
我々は、ODEのシステムに対する決定論的解という観点から、リスクと学習率曲線の正確な表現を与える。
最小二乗問題に対する最適正則線探索とAdaGrad-Normの2つの適応学習率について詳細に検討する。
論文 参考訳(メタデータ) (2024-05-30T00:27:52Z) - Fusing Dictionary Learning and Support Vector Machines for Unsupervised Anomaly Detection [1.5999407512883508]
本稿では,OC-SVMとDL残差関数を1つの合成対象に統一する新たな異常検出モデルを提案する。
両方の目的をカーネル関数の使用を可能にするより一般的な設定に拡張する。
論文 参考訳(メタデータ) (2024-04-05T12:41:53Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳(メタデータ) (2024-03-11T05:35:38Z) - Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文 参考訳(メタデータ) (2024-02-14T16:10:42Z) - Random Matrix Analysis to Balance between Supervised and Unsupervised
Learning under the Low Density Separation Assumption [9.620832983703863]
線形分類モデルであるQLDSを導入し、低密度分離仮定を2次マージンで実装する。
提案アルゴリズムの特定のケースは、教師付きケースにおける最小二乗支援ベクトルマシン、完全に教師なしシステマにおけるスペクトルクラスタリング、および半教師付きグラフベースアプローチのクラスであることを示す。
論文 参考訳(メタデータ) (2023-10-20T11:46:12Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳(メタデータ) (2021-09-10T07:01:15Z) - UCSL : A Machine Learning Expectation-Maximization framework for
Unsupervised Clustering driven by Supervised Learning [2.133032470368051]
Subtype Discoveryは、データセットの解釈可能で一貫性のあるサブ部分を見つけることで構成される。
UCSL (Unsupervised Clustering driven by Supervised Learning) という汎用的な期待最大化アンサンブルフレームワークを提案する。
我々の手法は汎用的であり、任意のクラスタリング手法を統合することができ、バイナリ分類と回帰の両方によって駆動することができる。
論文 参考訳(メタデータ) (2021-07-05T12:55:13Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。