論文の概要: Improving Pre-Trained Self-Supervised Embeddings Through Effective Entropy Maximization

• arxiv url: http://arxiv.org/abs/2411.15931v1
• Date: Sun, 24 Nov 2024 17:38:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:27.896015
• Title: Improving Pre-Trained Self-Supervised Embeddings Through Effective Entropy Maximization
• Title（参考訳）: 効率的なエントロピー最大化による事前学習型セルフスーパーバイディングの改善
• Authors: Deep Chakraborty, Yann LeCun, Tim G. J. Rudner, Erik Learned-Miller,
• Abstract要約: 評価が容易で低次元の制約で定義される有効エントロピー基準(E2MC)を動機づける。 すでにトレーニング済みのSSLモデルのトレーニングをほんの一握りのエポックで継続することで、一貫した、場合によっては大幅な改善につながることを実証しています。 また、代替基準による事前トレーニングが顕著な改善につながらず、場合によっては性能を低下させることも示している。
• 参考スコア（独自算出の注目度）: 25.854403747410146
• License:
• Abstract: A number of different architectures and loss functions have been applied to the problem of self-supervised learning (SSL), with the goal of developing embeddings that provide the best possible pre-training for as-yet-unknown, lightly supervised downstream tasks. One of these SSL criteria is to maximize the entropy of a set of embeddings in some compact space. But the goal of maximizing the embedding entropy often depends--whether explicitly or implicitly--upon high dimensional entropy estimates, which typically perform poorly in more than a few dimensions. In this paper, we motivate an effective entropy maximization criterion (E2MC), defined in terms of easy-to-estimate, low-dimensional constraints. We demonstrate that using it to continue training an already-trained SSL model for only a handful of epochs leads to a consistent and, in some cases, significant improvement in downstream performance. We perform careful ablation studies to show that the improved performance is due to the proposed add-on criterion. We also show that continued pre-training with alternative criteria does not lead to notable improvements, and in some cases, even degrades performance.
• Abstract（参考訳）: 多くのアーキテクチャと損失関数が自己教師付き学習(SSL)の問題に適用されており、その目的は、未知の軽量教師付き下流タスクのための最良の事前トレーニングを提供する埋め込みを開発することである。 これらのSSL基準の1つは、あるコンパクト空間における埋め込みの集合のエントロピーを最大化することである。 しかし、埋め込みエントロピーを最大化するというゴールは、しばしば-明示的にも暗黙的にも----高次元エントロピー推定(通常は数次元以上では不十分)に依存する。 本稿では, 簡易な推定, 低次元制約で定義される有効エントロピー最大化基準(E2MC)を動機づける。 すでにトレーニングされているSSLモデルのトレーニングをほんの一握りのエポックで継続することで、一貫性があり、場合によっては、ダウンストリームのパフォーマンスが大幅に改善されることを実証しています。 本研究は,提案したアドオン基準による性能向上を示すため,慎重なアブレーション研究を行う。 また、代替基準による事前トレーニングが顕著な改善につながらず、場合によっては性能を低下させることも示している。

関連論文リスト

• Reward Incremental Learning in Text-to-Image Generation [26.64026346266299]
  本稿では,計算オーバーヘッドを最小限に抑える方法であるReward Incremental Distillation(RID)を提案する。 実験結果から,RILシナリオにおける一貫した高次勾配生成の実現におけるRIDの有効性が示された。
  論文  参考訳（メタデータ） (2024-11-26T10:54:33Z)
• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。