論文の概要: Adaptive Soft Contrastive Learning

• arxiv url: http://arxiv.org/abs/2207.11163v1
• Date: Fri, 22 Jul 2022 16:01:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 13:12:39.134838
• Title: Adaptive Soft Contrastive Learning
• Title（参考訳）: 適応型ソフトコントラスト学習
• Authors: Chen Feng, Ioannis Patras
• Abstract要約: 本稿では,適応型ソフトコントラスト学習(ASCL)という,サンプル間のソフトな関係を導入する適応手法を提案する。 既存の自己教師付き学習フレームワークのための効果的で簡潔なプラグインモジュールとして、ASCLはいくつかのベンチマークで最高のパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 19.45520684918576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning has recently achieved great success in representation learning without human annotations. The dominant method -- that is contrastive learning, is generally based on instance discrimination tasks, i.e., individual samples are treated as independent categories. However, presuming all the samples are different contradicts the natural grouping of similar samples in common visual datasets, e.g., multiple views of the same dog. To bridge the gap, this paper proposes an adaptive method that introduces soft inter-sample relations, namely Adaptive Soft Contrastive Learning (ASCL). More specifically, ASCL transforms the original instance discrimination task into a multi-instance soft discrimination task, and adaptively introduces inter-sample relations. As an effective and concise plug-in module for existing self-supervised learning frameworks, ASCL achieves the best performance on several benchmarks in terms of both performance and efficiency. Code is available at https://github.com/MrChenFeng/ASCL_ICPR2022.
• Abstract（参考訳）: 自己教師付き学習は最近、人間のアノテーションなしで表現学習で大きな成功を収めている。 対照的な学習法である支配的手法は、一般的にインスタンス識別タスクに基づいており、個々のサンプルは独立したカテゴリとして扱われる。 しかし、全てのサンプルが異なると仮定すると、同じ犬の複数のビューのような共通の視覚的データセットにおける類似のサンプルの自然なグループ化と矛盾する。 本稿では,このギャップを埋めるために,ソフトサンプル間関係,すなわち適応ソフトコントラスト学習(ascl)を導入する適応的手法を提案する。 より具体的には、ASCLは元のインスタンス識別タスクをマルチインスタンスソフト識別タスクに変換し、サンプル間の関係を適応的に導入する。 既存の自己教師付き学習フレームワークのための効果的かつ簡潔なプラグインモジュールとして、ASCLはパフォーマンスと効率の両面で、いくつかのベンチマークで最高のパフォーマンスを達成する。 コードはhttps://github.com/mrchenfeng/ascl_icpr2022で入手できる。

関連論文リスト

• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• Self-Adaptive In-Context Learning: An Information Compression Perspective for In-Context Example Selection and Ordering [15.3566963926257]
  本稿では、自己適応型インコンテキスト学習(ICL)の新たな原則を提唱する。 自己適応機構を導入し、各サンプルが正しい予測を導出できるコンテキスト内サンプル置換を見つけるのを助ける。 我々の自己適応型ICL法は,実践環境よりも40%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-20T15:55:21Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)
• DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning [83.48587570246231]
  視覚的類似性は多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。 ディープ・メトリック・ラーニング(DML)は、そのような類似性を学ぶための強力なフレームワークである。 我々は,概念的に異なるデータ関係を対象とする複数の補完学習タスクを提案し,研究する。 我々は、訓練信号を集約する単一モデルを学び、その結果、強力な一般化と最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2020-04-28T12:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。