論文の概要: Learning Invariant Representations using Inverse Contrastive Loss
- arxiv url: http://arxiv.org/abs/2102.08343v1
- Date: Tue, 16 Feb 2021 18:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 15:21:14.506311
- Title: Learning Invariant Representations using Inverse Contrastive Loss
- Title（参考訳）: 逆コントラスト損失を用いた学習不変表現
- Authors: Aditya Kumar Akash, Vishnu Suresh Lokhande, Sathya N. Ravi, Vikas
Singh
- Abstract要約: 興味のある変数に不変な学習表現に対して,損失のクラスを導入する。
外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
- 参考スコア（独自算出の注目度）: 34.93395633215398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning invariant representations is a critical first step in a number of
machine learning tasks. A common approach corresponds to the so-called
information bottleneck principle in which an application dependent function of
mutual information is carefully chosen and optimized. Unfortunately, in
practice, these functions are not suitable for optimization purposes since
these losses are agnostic of the metric structure of the parameters of the
model. We introduce a class of losses for learning representations that are
invariant to some extraneous variable of interest by inverting the class of
contrastive losses, i.e., inverse contrastive loss (ICL). We show that if the
extraneous variable is binary, then optimizing ICL is equivalent to optimizing
a regularized MMD divergence. More generally, we also show that if we are
provided a metric on the sample space, our formulation of ICL can be decomposed
into a sum of convex functions of the given distance metric. Our experimental
results indicate that models obtained by optimizing ICL achieve significantly
better invariance to the extraneous variable for a fixed desired level of
accuracy. In a variety of experimental settings, we show applicability of ICL
for learning invariant representations for both continuous and discrete
extraneous variables.
- Abstract（参考訳）: 不変表現の学習は多くの機械学習タスクにおいて重要な第一歩である。
共通のアプローチは、相互情報のアプリケーション依存関数を慎重に選択して最適化するいわゆる情報ボトルネック原則に対応します。
残念ながら、これらの関数はモデルのパラメータの計量構造に依存しないため、実際には最適化目的には適さない。
本研究では,ある興味のある変数に不変な学習表現に対する損失のクラスを導入し,コントラスト損失のクラス,すなわち逆コントラスト損失(ICL)を逆転する。
外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
より一般的には、サンプル空間上のメトリックが与えられた場合、ICLの定式化は与えられた距離メトリックの凸関数の合計に分解することができることも示します。
実験の結果, iclの最適化により得られたモデルは, 所望の精度で, 外部変数に対する不均一性が有意に向上することがわかった。
実験では,連続変数と離散変数の両方に対する不変表現を学習するためのiclの適用性を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。
本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。
FactorQVAEと呼ばれる手法は,最適化に基づく不整合アプローチと離散表現学習を組み合わせた最初の手法である。
論文 参考訳（メタデータ） (2024-09-23T09:33:53Z) - Quasi-parametric rates for Sparse Multivariate Functional Principal
Components Analysis [0.0]
最適化問題の解として固有値が表現可能であることを示す。
固有要素の平均2乗再構成誤差に基づいてミニマックス下限を定め、この手順がミニマックス感覚に最適な分散を有することを証明した。
論文 参考訳（メタデータ） (2022-12-19T13:17:57Z) - Leveraging Heteroscedastic Uncertainty in Learning Complex Spectral
Mapping for Single-channel Speech Enhancement [20.823177372464414]
ほとんどの音声強調(SE)モデルは、ポイント推定を学習し、学習過程における不確実性推定を利用しない。
本研究では,多変量ガウス陰性ログ類似度 (NLL) を最小化することにより,SE性能を余分なコストで向上させることにより,ヘテロスセダスティック不確実性をモデル化できることを示す。
論文 参考訳（メタデータ） (2022-11-16T02:29:05Z) - PAC Generalization via Invariant Representations [41.02828564338047]
有限標本集合における$epsilon$-approximate不変性の概念を考える。
PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。
この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
論文 参考訳（メタデータ） (2022-05-30T15:50:14Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。
ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。
本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文 参考訳（メタデータ） (2022-01-20T17:26:37Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Convex Representation Learning for Generalized Invariance in
Semi-Inner-Product Space [32.442549424823355]
本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。
これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
論文 参考訳（メタデータ） (2020-04-25T18:54:37Z) - Plannable Approximations to MDP Homomorphisms: Equivariance under
Actions [72.30921397899684]
学習した表現に作用同値を強制する対照的な損失関数を導入する。
損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。
本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
論文 参考訳（メタデータ） (2020-02-27T08:29:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。