論文の概要: HOME: High-Order Mixed-Moment-based Embedding for Representation Learning

• arxiv url: http://arxiv.org/abs/2207.07743v1
• Date: Fri, 15 Jul 2022 20:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 14:13:39.251176
• Title: HOME: High-Order Mixed-Moment-based Embedding for Representation Learning
• Title（参考訳）: HOME: 表現学習のための高次混合モーメント型埋め込み
• Authors: Chuang Niu and Ge Wang
• Abstract要約: 本稿では,HOME(High-Order Mixed-Moment-based Embedding)戦略を提案する。 最初の実験では,3次HOME方式の単純なバージョンが,現在の2次ベースライン法よりもかなり優れていることが示された。
• 参考スコア（独自算出の注目度）: 6.693379403133435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimum redundancy among different elements of an embedding in a latent space is a fundamental requirement or major preference in representation learning to capture intrinsic informational structures. Current self-supervised learning methods minimize a pair-wise covariance matrix to reduce the feature redundancy and produce promising results. However, such representation features of multiple variables may contain the redundancy among more than two feature variables that cannot be minimized via the pairwise regularization. Here we propose the High-Order Mixed-Moment-based Embedding (HOME) strategy to reduce the redundancy between any sets of feature variables, which is to our best knowledge the first attempt to utilize high-order statistics/information in this context. Multivariate mutual information is minimum if and only if multiple variables are mutually independent, which suggests the necessary conditions of factorized mixed moments among multiple variables. Based on these statistical and information theoretic principles, our general HOME framework is presented for self-supervised representation learning. Our initial experiments show that a simple version in the form of a three-order HOME scheme already significantly outperforms the current two-order baseline method (i.e., Barlow Twins) in terms of the linear evaluation on representation features.
• Abstract（参考訳）: 潜在空間への埋め込みの異なる要素間の最小冗長性は、内在的な情報構造を捉えるために表現学習において基本的な要件または主要な選好である。 現在の自己教師付き学習手法は、ペアワイズ共分散行列を最小化し、特徴冗長性を低減し、有望な結果をもたらす。 しかし、このような多重変数の表現特徴は、ペアワイズ正規化によって最小化できない2つ以上の特徴変数の冗長性を含むことがある。 本稿では,任意の特徴変数のセット間の冗長性を低減するための高階混合モーメントに基づく埋め込み(home)戦略を提案する。 多変量相互情報が最小であることと、複数の変数が相互独立であることは、複数の変数間の分解混合モーメントの必要条件を示唆する。 これらの統計的および情報理論の原則に基づき,自己指導型表現学習のための一般HOMEフレームワークを提案する。 最初の実験では、3階のHOMEスキームの単純なバージョンは、表現特徴の線形評価において、現在の2階のベースライン法(Barlow Twins)よりもかなり優れていることを示した。

関連論文リスト

• Differentiable Information Bottleneck for Deterministic Multi-view Clustering [9.723389925212567]
  我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
  論文  参考訳（メタデータ） (2024-03-23T02:13:22Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
  トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。 また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。 提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
  論文  参考訳（メタデータ） (2023-01-15T16:19:18Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Tensor-based Multi-view Spectral Clustering via Shared Latent Space [14.470859959783995]
  MvSC(Multi-view Spectral Clustering)は多様なデータソースによって注目を集めている。 MvSCの新しい手法はRestricted Kernel Machineフレームワークから共有潜在空間を介して提案される。
  論文  参考訳（メタデータ） (2022-07-23T17:30:54Z)
• Supervised Multivariate Learning with Simultaneous Feature Auto-grouping and Dimension Reduction [7.093830786026851]
  本稿では,クラスタ化低ランク学習フレームワークを提案する。 2つの合同行列正則化を課し、予測因子を構成する特徴を自動的にグループ化する。 低ランクなモデリングよりも解釈可能であり、変数選択における厳密な空間性仮定を緩和する。
  論文  参考訳（メタデータ） (2021-12-17T20:11:20Z)
• Multi-view Orthonormalized Partial Least Squares: Regularizations and Deep Extensions [8.846165479467324]
  最小二乗を基本としたマルチビュー学習のためのサブスペース学習手法のファミリーを確立する。 全ビューで共有される共通潜在空間上の分類器を学習するための統合された多視点学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-09T19:00:39Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)
• Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction [32.21975128854042]
  本稿では、データセット全体と各クラスの和との符号化レート差を最大化する情報理論尺度である最大符号化レート削減(textMCR2$)の原理を提案する。 我々は,クロスエントロピー,情報ボトルネック,情報ゲイン,契約的・コントラスト的学習など,既存のフレームワークとの関係を明らかにするとともに,多様かつ差別的な特徴を学習するための理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-06-15T17:23:55Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。