論文の概要: Rethinking Generalizability and Discriminability of Self-Supervised Learning from Evolutionary Game Theory Perspective

• arxiv url: http://arxiv.org/abs/2412.00542v1
• Date: Sat, 30 Nov 2024 17:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:04.559160
• Title: Rethinking Generalizability and Discriminability of Self-Supervised Learning from Evolutionary Game Theory Perspective
• Title（参考訳）: 進化ゲーム理論から見た自己指導型学習の一般化可能性と差別性の再考
• Authors: Jiangmeng Li, Zehua Zang, Qirui Ji, Chuxiong Sun, Wenwen Qiang, Junge Zhang, Changwen Zheng, Fuchun Sun, Hui Xiong,
• Abstract要約: 最先端の自己管理手法は、一般化可能性や差別性を高める傾向にあるが、同時にはならない。 本稿では,強化学習の進歩を生かし,EGTの一般指導を共同で活用する自己指導型学習手法を提案する。
• 参考スコア（独自算出の注目度）: 43.510860711231544
• License:
• Abstract: Representations learned by self-supervised approaches are generally considered to possess sufficient generalizability and discriminability. However, we disclose a nontrivial mutual-exclusion relationship between these critical representation properties through an exploratory demonstration on self-supervised learning. State-of-the-art self-supervised methods tend to enhance either generalizability or discriminability but not both simultaneously. Thus, learning representations jointly possessing strong generalizability and discriminability presents a specific challenge for self-supervised learning. To this end, we revisit the learning paradigm of self-supervised learning from the perspective of evolutionary game theory (EGT) and outline the theoretical roadmap to achieve a desired trade-off between these representation properties. EGT performs well in analyzing the trade-off point in a two-player game by utilizing dynamic system modeling. However, the EGT analysis requires sufficient annotated data, which contradicts the principle of self-supervised learning, i.e., the EGT analysis cannot be conducted without the annotations of the specific target domain for self-supervised learning. Thus, to enhance the methodological generalization, we propose a novel self-supervised learning method that leverages advancements in reinforcement learning to jointly benefit from the general guidance of EGT and sequentially optimize the model to chase the consistent improvement of generalizability and discriminability for specific target domains during pre-training. Theoretically, we establish that the proposed method tightens the generalization error upper bound of self-supervised learning. Empirically, our method achieves state-of-the-art performance on various benchmarks.
• Abstract（参考訳）: 自己監督的アプローチによって学習された表現は、一般的に十分な一般化可能性と識別可能性を持つと考えられている。 しかし,本稿では,自己指導型学習の探索的実証を通じて,これらの批判的表現特性間の非自明な相互排他的関係を明らかにする。 最先端の自己管理手法は、一般化可能性や差別性を高める傾向にあるが、同時にはならない。 このように、強い一般化可能性と識別可能性を持つ学習表現は、自己指導型学習において特別な課題となる。 この目的のために、進化ゲーム理論(EGT)の観点から自己教師型学習の学習パラダイムを再考し、これらの表現特性間の望ましいトレードオフを達成するための理論的ロードマップを概説する。 EGTは動的システムモデリングを利用して,2プレーヤゲームにおけるトレードオフ点の解析に優れる。 しかし、EGT分析には十分なアノテートデータが必要であるため、自己教師学習の原則とは矛盾する。 そこで本研究では,強化学習の進歩を活かして,EGTの一般ガイダンスを共同で活用し,モデルを逐次最適化して,事前学習中の特定の対象領域に対する一般化可能性と識別可能性の一貫性の向上を追求する,新たな自己教師型学習手法を提案する。 理論的には,提案手法は自己教師あり学習の一般化誤差上限を狭めるものである。 提案手法は,様々なベンチマークにおける最先端性能を実証的に達成する。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Unifying Self-Supervised Clustering and Energy-Based Models [9.3176264568834]
  自己教師付き学習と生成モデルとの間には,原則的な関連性を確立する。 シンボル接地問題の単純かつ非自明なインスタンス化に対処するために,我々の解法をニューロシンボリックな枠組みに統合できることが示される。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Homomorphic Self-Supervised Learning [1.0742675209112622]
  私たちは、同型自己監督学習と呼ばれる一般的なフレームワークを紹介します。 本稿では,拡張同型特徴抽出器を用いた入力拡張の利用を仮定する方法について述べる。
  論文  参考訳（メタデータ） (2022-11-15T16:32:36Z)
• Modeling Multiple Views via Implicitly Preserving Global Consistency and Local Complementarity [61.05259660910437]
  複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。 グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。 最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
  論文  参考訳（メタデータ） (2022-09-16T09:24:00Z)
• Towards the Generalization of Contrastive Self-Supervised Learning [11.889992921445849]
  本稿では, 自己教師付き事前学習モデルが下流タスクにどのように一般化するかを理論的に説明する。 さらに,SimCLR と Barlow Twins についても検討する。
  論文  参考訳（メタデータ） (2021-11-01T07:39:38Z)
• Learning from Extrinsic and Intrinsic Supervisions for Domain Generalization [95.73898853032865]
  ドメイン間を同時に一般化する方法を学ぶための新しいドメイン一般化フレームワークを提案する。 提案手法の有効性を2つの標準オブジェクト認識ベンチマークで示す。
  論文  参考訳（メタデータ） (2020-07-18T03:12:24Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。