論文の概要: Unsupervised learning of disentangled representations in deep restricted
kernel machines with orthogonality constraints
- arxiv url: http://arxiv.org/abs/2011.12659v1
- Date: Wed, 25 Nov 2020 11:40:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 02:01:37.047747
- Title: Unsupervised learning of disentangled representations in deep restricted
kernel machines with orthogonality constraints
- Title（参考訳）: 直交制約を持つ深い制約付きカーネルマシンにおける不等角表現の教師なし学習
- Authors: Francesco Tonin, Panagiotis Patrinos, Johan A. K. Suykens
- Abstract要約: Constr-DRKMは、非教師なしデータ表現の学習のためのディープカーネル手法である。
本研究では,不整合特徴学習における提案手法の有効性を定量的に評価する。
- 参考スコア（独自算出の注目度）: 15.296955630621566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Constr-DRKM, a deep kernel method for the unsupervised learning
of disentangled data representations. We propose augmenting the original deep
restricted kernel machine formulation for kernel PCA by orthogonality
constraints on the latent variables to promote disentanglement and to make it
possible to carry out optimization without first defining a stabilized
objective. After illustrating an end-to-end training procedure based on a
quadratic penalty optimization algorithm with warm start, we quantitatively
evaluate the proposed method's effectiveness in disentangled feature learning.
We demonstrate on four benchmark datasets that this approach performs similarly
overall to $\beta$-VAE on a number of disentanglement metrics when few training
points are available, while being less sensitive to randomness and
hyperparameter selection than $\beta$-VAE. We also present a deterministic
initialization of Constr-DRKM's training algorithm that significantly improves
the reproducibility of the results. Finally, we empirically evaluate and
discuss the role of the number of layers in the proposed methodology, examining
the influence of each principal component in every layer and showing that
components in lower layers act as local feature detectors capturing the broad
trends of the data distribution, while components in deeper layers use the
representation learned by previous layers and more accurately reproduce
higher-level features.
- Abstract（参考訳）: 本稿では,不連続データ表現の教師なし学習のための深層カーネル法 constr-drkm を提案する。
そこで本研究では,カーネルPCA用のカーネルマシンを,非依存変数の直交制約により拡張し,不整合を促進させるとともに,まず安定化目標を定義することなく最適化を実現することを提案する。
2次ペナルティ最適化アルゴリズムに基づくエンドツーエンドのトレーニング手順をウォームスタートで評価した後,提案手法の有効性を定量的に評価した。
4つのベンチマークデータセットで、この手法は、トレーニングポイントがほとんどない場合、多くのアンタングルメント指標において、$\beta$-VAEと同等に動作するが、ランダムネスやハイパーパラメータの選択には、$\beta$-VAEよりも敏感ではない。
また,Constr-DRKMのトレーニングアルゴリズムを決定論的に初期化し,再現性を大幅に向上させる。
最後に,提案手法におけるレイヤ数の役割を実証的に評価・検討し,各レイヤにおける各主要コンポーネントの影響を調べ,下位レイヤのコンポーネントがデータ分散の広範なトレンドを捉える局所的特徴検出器として振る舞うことを示すとともに,より深いレイヤのコンポーネントが以前のレイヤから学んだ表現を使い,より正確に高レベルな特徴を再現することを示す。
関連論文リスト
- Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。
埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。
ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-03T13:44:20Z) - Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement
Learning [53.445068584013896]
低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。
低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。
簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
論文 参考訳（メタデータ） (2023-10-10T17:06:41Z) - Provably Efficient UCB-type Algorithms For Learning Predictive State
Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である
本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。
PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文 参考訳（メタデータ） (2023-07-01T18:35:21Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Entropic Wasserstein Component Analysis [8.744017403796406]
次元減少(DR)の鍵となる要件は、元のサンプルと組込みサンプルの間にグローバルな依存関係を組み込むことである。
最適輸送(OT)と主成分分析(PCA)の原理を組み合わせる。
提案手法は, サンプルの近傍情報を自然に符号化するエントロピーOTを用いて, 復元誤差を最小化する最適線形部分空間を求める。
論文 参考訳（メタデータ） (2023-03-09T08:59:33Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - SCAI: A Spectral data Classification framework with Adaptive Inference
for the IoT platform [0.0]
適応推論を用いたスペクトルデータ分類フレームワークを提案する。
具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。
我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
論文 参考訳（メタデータ） (2022-06-24T09:22:52Z) - Adaptive Local Kernels Formulation of Mutual Information with
Application to Active Post-Seismic Building Damage Inference [1.066048003460524]
地震後の建築物の地域被害評価は高価な作業である。
相互情報の情報理論尺度は,サンプルの有効性を評価する上で最も有効な基準の一つである。
計算コストを削減するためにローカルカーネル戦略が提案されたが、観測されたラベルへのカーネルの適応性は考慮されなかった。
本稿では,観測された出力データに対するカーネルの適合性を実現するための適応型ローカルカーネル手法を開発した。
論文 参考訳（メタデータ） (2021-05-24T18:34:46Z) - Feature space approximation for kernel-based supervised learning [2.653409741248232]
目標は、トレーニングデータのサイズを減らし、ストレージ消費と計算の複雑さを減らすことだ。
完全トレーニングデータセットを含むデータ駆動予測の計算と比較して,大幅な改善が示された。
本手法は, 画像認識, システム識別, 海洋時系列解析などの異なる応用領域の分類と回帰問題に適用する。
論文 参考訳（メタデータ） (2020-11-25T11:23:58Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z) - Single-step deep reinforcement learning for open-loop control of laminar
and turbulent flows [0.0]
本研究は,流体力学系の最適化と制御を支援するための深部強化学習(DRL)技術の能力を評価する。
原型ポリシー最適化(PPO)アルゴリズムの新たな"退化"バージョンを組み合わせることで、学習エピソード当たり1回だけシステムを最適化するニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-06-04T16:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。