Fugu-MT 論文翻訳(概要): Overfitting In Contrastive Learning?

論文の概要: Overfitting In Contrastive Learning?

arxiv url: http://arxiv.org/abs/2407.15863v1
Date: Tue, 16 Jul 2024 14:20:00 GMT
ステータス: 処理完了
システム内更新日: 2024-07-28 18:29:13.425805
Title: Overfitting In Contrastive Learning?
Title（参考訳）: コントラスト学習における過度な適合?
Authors: Zachary Rabin, Jim Davis, Benjamin Lewis, Matthew Scherreik,
Abstract要約: オーバーフィッティング(Overfitting)は、モデルがトレーニングデータにあまりにも密接に適合し、結果として一般化が不十分な機械学習現象を記述している。オーバーフィッティングが実際に起こり、オーバーフィッティングのメカニズムが明らかになる。
参考スコア（独自算出の注目度）: 1.8749305679160366
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Overfitting describes a machine learning phenomenon where the model fits too closely to the training data, resulting in poor generalization. While this occurrence is thoroughly documented for many forms of supervised learning, it is not well examined in the context of \underline{un}supervised learning. In this work we examine the nature of overfitting in unsupervised contrastive learning. We show that overfitting can indeed occur and the mechanism behind overfitting.
Abstract（参考訳）: オーバーフィッティング(Overfitting)は、モデルがトレーニングデータにあまりにも密接に適合し、結果として一般化が不十分な機械学習現象を記述している。この現象は、教師付き学習の様々な形態について完全に文書化されているが、教師付き学習の文脈では十分に研究されていない。本研究では,教師なしコントラスト学習における過剰適合の性質について検討する。オーバーフィッティングが実際に起こり、オーバーフィッティングのメカニズムが明らかになる。

関連論文リスト

UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。未学習の概念を導入し、未学習の知識を文脈内で再導入する。我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
論文参考訳（メタデータ） (2024-06-27T10:24:35Z)
Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。本研究では,観測データからこのような表現を学習するための学習手法を開発した。理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
論文参考訳（メタデータ） (2023-10-21T02:18:35Z)
Rethinking Weak Supervision in Helping Contrastive Learning [19.5649824524209]
コントラスト学習における半教師付き情報と雑音ラベル付き情報との機械的差異について検討する。具体的には、教師付きと教師なしのコントラスト的損失の協調訓練の最も直感的なパラダイムについて検討する。半教師付きラベルが下流誤差境界を改善するのに対し、ノイズラベルはそのようなパラダイムの下では限定的な効果を持つことを示す。
論文参考訳（メタデータ） (2023-06-07T05:18:27Z)
Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
論文参考訳（メタデータ） (2021-03-02T17:47:58Z)
Contrastive Learning Inverts the Data Generating Process [36.30995987986073]
一般に使用されるインフォアンスファミリーに属する目標で訓練されたフィードフォワードモデルは、観測データの基底となる生成モデルを暗黙的に反転させることを学習する。本理論は, コントラスト学習, 生成モデル, 非線形独立成分分析の基本的な関係を明らかにする。
論文参考訳（メタデータ） (2021-02-17T16:21:54Z)
Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
教師付き学習では、データは不完全で差別的な情報で注釈付けされる。本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-04T18:14:32Z)
Combining Self-Training and Self-Supervised Learning for Unsupervised Disfluency Detection [80.68446022994492]
本研究では,未ラベルテキストコーパスを扱える教師なし学習パラダイムについて検討する。我々のモデルは、自己学習の考え方を拡張する半教師あり学習アプローチである、雑音学習(Noisy Student Training)に関する最近の研究に基づいている。
論文参考訳（メタデータ） (2020-10-29T05:29:26Z)
A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
論文参考訳（メタデータ） (2020-10-27T10:17:15Z)
Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。