論文の概要: Adversarial Dependence Minimization

• arxiv url: http://arxiv.org/abs/2502.03227v1
• Date: Wed, 05 Feb 2025 14:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:56.543808
• Title: Adversarial Dependence Minimization
• Title（参考訳）: 逆依存性最小化
• Authors: Pierre-François De Plaen, Tinne Tuytelaars, Marc Proesmans, Luc Van Gool,
• Abstract要約: この研究は、線形対のデコリレーションを超越した依存最小化のための微分可能でスケーラブルなアルゴリズムを提供する。 我々は,PCAを非線形デコリレーションに拡張し,画像分類法の一般化を改良し,自己教師あり表現学習における次元的崩壊を防止する3つのアプリケーションでその実用性を実証する。
• 参考スコア（独自算出の注目度）: 78.36795688238155
• License:
• Abstract: Many machine learning techniques rely on minimizing the covariance between output feature dimensions to extract minimally redundant representations from data. However, these methods do not eliminate all dependencies/redundancies, as linearly uncorrelated variables can still exhibit nonlinear relationships. This work provides a differentiable and scalable algorithm for dependence minimization that goes beyond linear pairwise decorrelation. Our method employs an adversarial game where small networks identify dependencies among feature dimensions, while the encoder exploits this information to reduce dependencies. We provide empirical evidence of the algorithm's convergence and demonstrate its utility in three applications: extending PCA to nonlinear decorrelation, improving the generalization of image classification methods, and preventing dimensional collapse in self-supervised representation learning.
• Abstract（参考訳）: 多くの機械学習技術は、データから最小限に冗長な表現を抽出するために出力特徴次元間の共分散を最小限にすることに依存している。 しかしながら、これらの手法は、線形に非相関な変数が依然として非線形関係を示すことができるため、すべての依存/冗長性を排除しない。 この研究は、線形対のデコリレーションを超えた依存最小化のための微分可能でスケーラブルなアルゴリズムを提供する。 提案手法では,小ネットワークが特徴次元間の依存関係を識別する対角ゲームを用いて,エンコーダはこの情報を利用して依存関係を削減する。 アルゴリズムの収束を実証的に証明し,PCAを非線形デコリレーションに拡張し,画像分類法の一般化を改良し,自己教師付き表現学習における次元的崩壊を防止する3つの応用でその有用性を実証する。

関連論文リスト

• Scalable Higher-Order Tensor Product Spline Models [0.0]
  本稿では,高階テンソル積スプラインモデルから高階テンソル積を導出する因子分解法を提案する。 本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことが可能である。
  論文  参考訳（メタデータ） (2024-02-02T01:18:48Z)
• Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
  非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。 本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
  論文  参考訳（メタデータ） (2023-10-02T17:42:01Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
  現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。 一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。 また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
  論文  参考訳（メタデータ） (2023-06-19T19:57:33Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Disentanglement and Generalization Under Correlation Shifts [22.499106910581958]
  実世界のデータでは、変動要因間の相関が一般的である。 機械学習アルゴリズムは、ノイズの多いデータに対する予測性能を高めることができるため、そのような相関を利用する利点がある。 潜在部分空間の様々な要因を捉える表現を学習することを目的としている。
  論文  参考訳（メタデータ） (2021-12-29T18:55:17Z)
• Joint Dimensionality Reduction for Separable Embedding Estimation [43.22422640265388]
  異なるソースからのデータの低次元埋め込みは、機械学習、マルチメディア情報検索、バイオインフォマティクスにおいて重要な役割を果たす。 異なるモダリティのデータや異なる種類の実体からのデータを表す2つの特徴ベクトルに対して,線形埋め込みを共同で学習する,教師付き次元還元法を提案する。 提案手法は,他の次元減少法と比較し,遺伝子・退化関連を予測するための両線形回帰の最先端手法と比較した。
  論文  参考訳（メタデータ） (2021-01-14T08:48:37Z)
• Differentiable Causal Discovery from Interventional Data [141.41931444927184]
  本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。 提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T15:19:17Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。