論文の概要: Preventing Model Collapse in Deep Canonical Correlation Analysis by Noise Regularization

• arxiv url: http://arxiv.org/abs/2411.00383v1
• Date: Fri, 01 Nov 2024 06:02:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:27.863649
• Title: Preventing Model Collapse in Deep Canonical Correlation Analysis by Noise Regularization
• Title（参考訳）: 雑音正規化による深い正準相関解析におけるモデル崩壊防止
• Authors: Junlin He, Jinxiao Du, Susu Xu, Wei Ma,
• Abstract要約: MVRL(Multi-View Representation Learning)は、オブジェクトの統一表現を多視点データから学習することを目的としている。 ディープ・カノニカル相関解析(DCCA)とその変種は単純な定式化を共有し、最先端の性能を示す。 モデル崩壊の問題,すなわちDCCAに基づく手法の性能が,トレーニングが進むと劇的に低下するのを観察する。 モデル崩壊防止のための新しいノイズ正規化手法を備えたNR-DCCAを開発した。
• 参考スコア（独自算出の注目度）: 10.216526425377149
• License:
• Abstract: Multi-View Representation Learning (MVRL) aims to learn a unified representation of an object from multi-view data. Deep Canonical Correlation Analysis (DCCA) and its variants share simple formulations and demonstrate state-of-the-art performance. However, with extensive experiments, we observe the issue of model collapse, {\em i.e.}, the performance of DCCA-based methods will drop drastically when training proceeds. The model collapse issue could significantly hinder the wide adoption of DCCA-based methods because it is challenging to decide when to early stop. To this end, we develop NR-DCCA, which is equipped with a novel noise regularization approach to prevent model collapse. Theoretical analysis shows that the Correlation Invariant Property is the key to preventing model collapse, and our noise regularization forces the neural network to possess such a property. A framework to construct synthetic data with different common and complementary information is also developed to compare MVRL methods comprehensively. The developed NR-DCCA outperforms baselines stably and consistently in both synthetic and real-world datasets, and the proposed noise regularization approach can also be generalized to other DCCA-based methods such as DGCCA.
• Abstract（参考訳）: MVRL(Multi-View Representation Learning)は、オブジェクトの統一表現を多視点データから学習することを目的としている。 ディープ・カノニカル相関解析(DCCA)とその変種は単純な定式化を共有し、最先端の性能を示す。 しかし, 広範囲な実験により, モデル崩壊問題, すなわちDCCA法の性能は, トレーニングが進むと劇的に低下する。 モデル崩壊問題により、DCCAベースの手法が広く採用されるのを著しく妨げる可能性がある。 そこで我々は,モデル崩壊を防止するため,新しい雑音正規化手法を備えたNR-DCCAを開発した。 理論的解析により、相関不変性はモデル崩壊を防ぐ鍵であり、我々のノイズ正規化はニューラルネットワークにそのような特性を持たせざるを得ないことを示している。 また,MVRL法を包括的に比較するために,共通および相補的な情報を用いた合成データ構築フレームワークを開発した。 NR-DCCAは、合成および実世界の両方のデータセットにおいて安定かつ一貫してベースラインを向上し、提案手法は、DGCCAのような他のDCCAベースの手法にも一般化することができる。

関連論文リスト

• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• Low-resolution Prior Equilibrium Network for CT Reconstruction [3.5639148953570836]
  本稿では,低分解能画像を導入し,ネットワークの堅牢性を改善するための効果的な正規化項を得る,新しいディープラーニングベースのCT再構成モデルを提案する。 狭角化と狭角化の両問題を実験的に検討し, ノイズ低減, コントラスト・ツー・ノイズ比, エッジ細部保存の両面において, エンド・ツー・エンドの低分解能事前平衡モデルが他の最先端手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-01-28T13:59:58Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Monitoring nonstationary processes based on recursive cointegration analysis and elastic weight consolidation [2.8102838347038617]
  従来のアプローチは、通常の動的偏差を障害と誤認し、高い誤報を引き起こす。 本稿では, RCA と RPCA を用いて, 実際の故障と通常のシステム変化を区別する手法を提案する。 破滅的な「忘れる問題」を解決するために弾性重量凝縮(EWC)が用いられる。
  論文  参考訳（メタデータ） (2021-01-21T12:49:18Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。