論文の概要: Concept Representation Learning with Contrastive Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2112.05677v1
• Date: Fri, 10 Dec 2021 17:16:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 15:31:19.876866
• Title: Concept Representation Learning with Contrastive Self-Supervised Learning
• Title（参考訳）: コントラスト型自己監督学習を用いた概念表現学習
• Authors: Daniel T. Chang
• Abstract要約: 概念指向ディープラーニング(CODL)は、ディープラーニングの今後の課題を満たすための一般的なアプローチである。 コントラスト型自己教師型学習(CSSL)を用いた概念表現学習の諸側面について論じる。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept-oriented deep learning (CODL) is a general approach to meet the future challenges for deep learning: (1) learning with little or no external supervision, (2) coping with test examples that come from a different distribution than the training examples, and (3) integrating deep learning with symbolic AI. In CODL, as in human learning, concept representations are learned based on concept exemplars. Contrastive self-supervised learning (CSSL) provides a promising approach to do so, since it: (1) uses data-driven associations, to get away from semantic labels, (2) supports incremental and continual learning, to get away from (large) fixed datasets, and (3) accommodates emergent objectives, to get away from fixed objectives (tasks). We discuss major aspects of concept representation learning using CSSL. These include dual-level concept representations, CSSL for feature representations, exemplar similarity measures and self-supervised relational reasoning, incremental and continual CSSL, and contrastive self-supervised concept (class) incremental learning. The discussion leverages recent findings from cognitive neural science and CSSL.
• Abstract（参考訳）: 概念指向型ディープラーニング(CODL)は,(1)外部監督の少ない学習,(2)トレーニングの例とは異なる分布から得られるテスト例への対処,(3)記号型AIとの深層学習の統合といった,深層学習の今後の課題に対応するための一般的なアプローチである。 CODLでは、人間の学習と同様に概念表現は概念の模範に基づいて学習される。 対照的な自己教師付き学習(cssl)は、それを行うための有望なアプローチを提供する。 (1) 意味ラベルから逃れるためにデータ駆動の関連を使い、(2) 段階的かつ継続的な学習をサポートし、(大きな)固定されたデータセットから離れ、(3) 創発的な目的に適応し、固定された目的(タスク)から逃れる。 CSSLを用いた概念表現学習の主要な側面について論じる。 これには、デュアルレベル概念表現、特徴表現のためのcssl、例示的類似性測度と自己教師付き関係推論、漸進的および連続的なcssl、コントラスト的自己教師付き概念(クラス)インクリメンタル学習が含まれる。 この議論は、cognitive neural scienceとcsslの最近の知見を活用している。

関連論文リスト

• Concept-Based Interpretable Reinforcement Learning with Limited to No Human Labels [38.05773318621547]
  本稿では,RLアルゴリズムが概念ベースのポリシーを効率的に学習することのできる,新しい学習手法を提案する。 我々のアルゴリズムであるlicORICEは、概念学習とRLトレーニングをインターリーブし、概念アンサンブルを使用して、ラベル付けのための情報的データポイントを積極的に選択する。 licORICEは,3つの環境において,手動ラベリングの取り組みを500以上のコンセプトラベルに減らすかを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:46:33Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [51.43538150982291]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
  概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。 本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
  論文  参考訳（メタデータ） (2023-04-27T09:58:15Z)
• Active Self-Supervised Learning: A Few Low-Cost Relationships Are All You Need [34.013568381942775]
  Self-Supervised Learning (SSL)は、ラベルのないデータから転送可能な表現を学習する選択肢のソリューションとして登場した。 本研究では,この原理を正のアクティブラーニング(PAL)によって形式化し,一般化する。 まず、SSLを超えて理論的に基礎を成す学習フレームワークを公開し、類似性グラフに基づいて、採用するオラクルに応じて教師付きおよび半教師付き学習に取り組むように拡張する。 第二に、事前知識、例えばいくつかのラベルをトレーニングパイプラインの変更なしにSSL損失に組み込むための一貫したアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-03-27T14:44:39Z)
• A Message Passing Perspective on Learning Dynamics of Contrastive Learning [60.217972614379065]
  特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2023-03-08T08:27:31Z)
• Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning [0.8722210937404288]
  人間の学習において、経験に基づく概念の教師付き学習は、ラベルなしおよびラベル付きデータに基づく対照的な自己教師付き学習(CSSL)のより大きな文脈内で行われる。 拡張の大きなメリットは、教師付き微調整を備えた模範ベースのCSSLが、数ショットクラスのインクリメンタルラーニング(CIL)をサポートすることだ。
  論文  参考訳（メタデータ） (2022-02-05T17:14:07Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and Reasoning [78.13740873213223]
  ボナード問題(BP)は、インテリジェントシステムにおける視覚認知へのインスピレーションとして導入された。 我々は人間レベルの概念学習と推論のための新しいベンチマークBongard-LOGOを提案する。
  論文  参考訳（メタデータ） (2020-10-02T03:19:46Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。