論文の概要: VNE: An Effective Method for Improving Deep Representation by Manipulating Eigenvalue Distribution

• arxiv url: http://arxiv.org/abs/2304.01434v1
• Date: Tue, 4 Apr 2023 01:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 15:49:28.369722
• Title: VNE: An Effective Method for Improving Deep Representation by Manipulating Eigenvalue Distribution
• Title（参考訳）: VNE:固有値分布の操作による深部表現の改善手法
• Authors: Jaeill Kim, Suhyun Kang, Duhun Hwang, Jungwook Shin, Wonjong Rhee
• Abstract要約: 我々は、フォン・ノイマンエントロピー(VNE)を正規化することを提案する。 まず、VNEの数学的定式化が表現自己相関行列の固有値を効果的に操作する上で優れていることを示す。 さらに、我々は、ランク、不整合、および表現の等方性との理論的関係を正式に確立する。
• 参考スコア（独自算出の注目度）: 2.5461557112299773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the introduction of deep learning, a wide scope of representation properties, such as decorrelation, whitening, disentanglement, rank, isotropy, and mutual information, have been studied to improve the quality of representation. However, manipulating such properties can be challenging in terms of implementational effectiveness and general applicability. To address these limitations, we propose to regularize von Neumann entropy~(VNE) of representation. First, we demonstrate that the mathematical formulation of VNE is superior in effectively manipulating the eigenvalues of the representation autocorrelation matrix. Then, we demonstrate that it is widely applicable in improving state-of-the-art algorithms or popular benchmark algorithms by investigating domain-generalization, meta-learning, self-supervised learning, and generative models. In addition, we formally establish theoretical connections with rank, disentanglement, and isotropy of representation. Finally, we provide discussions on the dimension control of VNE and the relationship with Shannon entropy. Code is available at: https://github.com/jaeill/CVPR23-VNE.
• Abstract（参考訳）: 深層学習の導入以降,非相関,白化,異方性,ランク,等方性,相互情報といった表現特性の広い範囲が研究され,表現の質の向上が図られている。 しかし、そのような特性を操作することは、実装の有効性と一般的な適用性の観点からは困難である。 これらの制限に対処するため、我々は表現のフォン・ノイマンエントロピー~(vne)を正則化する。 まず, vne の数学的定式化が表現自己相関行列の固有値を効果的に操作する上で優れていることを示す。 そこで本研究では,ドメイン一般化,メタラーニング,自己教師型学習,生成モデルを用いて,最先端のアルゴリズムや一般的なベンチマークアルゴリズムの改善に適用可能であることを示す。 さらに, ランク, 不等角性, 表現の等方性に関する理論的関係を形式的に確立する。 最後に、VNEの次元制御とシャノンエントロピーとの関係について論じる。 コードはhttps://github.com/jaeill/cvpr23-vne。

関連論文リスト

• Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
  最適公正表現はいくつかの有用な構造特性を持つことを示す。 そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
  論文  参考訳（メタデータ） (2024-09-26T08:46:48Z)
• Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は,最適化に基づく不整合アプローチと離散表現学習を組み合わせた最初の手法である。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• Proper Laplacian Representation Learning [15.508199129490068]
  ラプラシアン表現を近似するための理論的に健全な目的とそれに対応する最適化アルゴリズムを導入する。 これらの結果は,複数の環境にまたがる堅牢な学習に実証的に変換されることを示す。
  論文  参考訳（メタデータ） (2023-10-16T21:14:50Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Decoupling Value and Policy for Generalization in Reinforcement Learning [20.08992844616678]
  我々は、最適なポリシーを学ぶよりも、価値関数を正確に見積もるためにより多くの情報が必要であると論じる。 IDAAC(Invariant Decoupled Advantage Actor-Critic)の2つのアプローチを提案します。 IDAACは、目に見えない環境に良い一般化を示し、Procgenベンチマークで新しい最先端を実現し、イントラクタでDeepMind Controlタスクで一般的なメソッドを上回ります。
  論文  参考訳（メタデータ） (2021-02-20T12:40:11Z)
• Towards Learning Controllable Representations of Physical Systems [9.088303226909279]
  力学系の学習表現は次元性を減少させ、下流強化学習(RL)を支援する可能性がある 我々は、真の状態と対応する表現の関係を考察し、理想的には各表現が一意的な状態に対応することを提唱する。 これらのメトリクスは、オートエンコーダに基づく表現の変種を比較する際に、擬似ペグ・イン・ホールタスクにおける強化学習性能を予測する。
  論文  参考訳（メタデータ） (2020-11-16T17:15:57Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。