Fugu-MT 論文翻訳(概要): Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning

論文の概要: Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning

arxiv url: http://arxiv.org/abs/2102.06866v1
Date: Sat, 13 Feb 2021 05:46:33 GMT
ステータス: 処理完了
システム内更新日: 2021-02-16 16:06:22.794486
Title: Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning
Title（参考訳）: インスタンス識別自己監督型表現学習における負のサンプルの理解
Authors: Kento Nozawa, Issei Sato
Abstract要約: 自己監督型表現学習は、実際には教師付きクラスの数よりもネガティブなサンプルを使用することが多い。負のサンプルに関するこの実験結果を理論的に説明します。 CIFAR-10/100データセットの数値実験を行い,本解析の実証的検証を行った。
参考スコア（独自算出の注目度）: 29.583194697391253
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Instance discriminative self-supervised representation learning has been attracted attention thanks to its unsupervised nature and informative feature representation for downstream tasks. Self-supervised representation learning commonly uses more negative samples than the number of supervised classes in practice. However, there is an inconsistency in the existing analysis; theoretically, a large number of negative samples degrade supervised performance, while empirically, they improve the performance. We theoretically explain this empirical result regarding negative samples. We empirically confirm our analysis by conducting numerical experiments on CIFAR-10/100 datasets.
Abstract（参考訳）: インスタンス識別型自己教師付き表現学習は、教師なしの性質と下流タスクのための情報的特徴表現によって注目を集めている。自己監督型表現学習は、実際には教師付きクラスの数よりもネガティブなサンプルを使用することが多い。しかし、既存の分析には矛盾があり、理論的には多くの負のサンプルは教師付き性能を劣化させるが、実証的に性能は向上する。負のサンプルに関するこの実験結果を理論的に説明します。 CIFAR-10/100データセットの数値実験を行い,本解析の実証的検証を行った。

関連論文リスト

Harnessing Discrete Representations For Continual Reinforcement Learning [8.61539229796467]
強化学習の文脈における分類的価値のベクトルとして観測を表現することの利点について検討する。従来の連続表現と比較すると、離散表現よりも学習した世界モデルは、キャパシティの少ない世界のより正確なモデルであることが分かる。
論文参考訳（メタデータ） (2023-12-02T18:55:26Z)
Do More Negative Samples Necessarily Hurt in Contrastive Learning? [25.234544066205547]
提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。また、フレームワークにおける最適な表現の構造的特徴も与える。
論文参考訳（メタデータ） (2022-05-03T21:29:59Z)
Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
論文参考訳（メタデータ） (2022-02-28T18:59:20Z)
Unsupervised Embedding Learning from Uncertainty Momentum Modeling [37.674449317054716]
本研究では,与えられた未ラベル学習サンプルの不確かさを明示的にモデル化し,探索する新しい手法を提案する。このような不確実性モデリングのモーメントを学習に利用し、アウトレーヤに取り組むのに役立ちます。
論文参考訳（メタデータ） (2021-07-19T14:06:19Z)
Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
ノイズコントラスト学習は教師なし表現学習の一般的な手法である。我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
論文参考訳（メタデータ） (2021-06-18T06:44:16Z)
Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
論文参考訳（メタデータ） (2021-05-27T08:38:29Z)
Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文参考訳（メタデータ） (2021-05-08T17:25:08Z)
Odd-One-Out Representation Learning [1.6822770693792826]
ランダム・ワン・アウト観測に基づく下流の弱教師付きタスクがモデル選択に適していることを示す。また,この課題を高度に遂行する,目覚しいメトリック学習型VAEモデルが,他の標準の教師なしおよび弱教師付きアンタングルメントモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-12-14T22:01:15Z)
A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
論文参考訳（メタデータ） (2020-10-27T10:17:15Z)
Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
論文参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。