論文の概要: Self-supervised self-supervision by combining deep learning and probabilistic logic

• arxiv url: http://arxiv.org/abs/2012.12474v1
• Date: Wed, 23 Dec 2020 04:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:20:12.652659
• Title: Self-supervised self-supervision by combining deep learning and probabilistic logic
• Title（参考訳）: 深層学習と確率論的論理を組み合わせた自己教師型自己監督
• Authors: Hunter Lang, Hoifung Poon
• Abstract要約: 自己監督型自己スーパービジョン(S4)を提案し,新たな自己スーパービジョンを自動学習する。 S4は自動的に正確な自己スーパービジョンを提案し、監督された手法の精度を人間の努力のごく一部とほぼ一致させることができる。
• 参考スコア（独自算出の注目度）: 10.515109852315168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Labeling training examples at scale is a perennial challenge in machine learning. Self-supervision methods compensate for the lack of direct supervision by leveraging prior knowledge to automatically generate noisy labeled examples. Deep probabilistic logic (DPL) is a unifying framework for self-supervised learning that represents unknown labels as latent variables and incorporates diverse self-supervision using probabilistic logic to train a deep neural network end-to-end using variational EM. While DPL is successful at combining pre-specified self-supervision, manually crafting self-supervision to attain high accuracy may still be tedious and challenging. In this paper, we propose Self-Supervised Self-Supervision (S4), which adds to DPL the capability to learn new self-supervision automatically. Starting from an initial "seed," S4 iteratively uses the deep neural network to propose new self supervision. These are either added directly (a form of structured self-training) or verified by a human expert (as in feature-based active learning). Experiments show that S4 is able to automatically propose accurate self-supervision and can often nearly match the accuracy of supervised methods with a tiny fraction of the human effort.
• Abstract（参考訳）: 大規模なトレーニング例のラベル付けは、マシンラーニングにおける長年にわたる課題だ。 自己スーパービジョン手法は、事前知識を活用してノイズの多いラベル付き例を自動的に生成することにより、直接的な監督の欠如を補う。 deep probabilistic logic (dpl) は未知ラベルを潜在変数として表現する自己教師あり学習のための統一フレームワークであり、確率論理を用いた多種多様な自己教師あり論理を組み込んで、変分emを用いてディープニューラルネットワークをエンドツーエンドに訓練する。 DPLは、事前に特定された自己スーパービジョンを組み合わせることに成功しているが、高い精度を達成するために手動で自己スーパービジョンを構築することは、いまだに面倒で難しい。 本稿では、DPLに新たな自己スーパービジョンを自動学習する機能を追加するセルフスーパービジョン(S4)を提案する。 s4は、最初の"シード"から始まり、ディープニューラルネットワークを使って新しい自己管理を提案する。 これらは直接追加(構造化された自己学習の形式)するか、あるいは(機能ベースのアクティブラーニングのように)人間の専門家によって検証される。 実験によると、S4は自動的に正確な自己スーパービジョンを提案し、監督された手法の精度を人間の努力のごく一部とほぼ一致させることができる。

関連論文リスト

• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales [53.55369862746357]
  自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。 しかし、その再識別精度は、監督対象よりも低い。 本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
  論文  参考訳（メタデータ） (2023-04-25T20:47:29Z)
• SSL-Lanes: Self-Supervised Learning for Motion Forecasting in Autonomous Driving [9.702784248870522]
  自己教師付き学習(SSL)は、畳み込みニューラルネットワーク(CNN)とグラフニューラルネットワーク(GNN)を訓練する新興技術である。 本研究では,移動予測に自己超越を取り入れた最初の体系的な探索を報告する。
  論文  参考訳（メタデータ） (2022-06-28T16:23:25Z)
• Better Self-training for Image Classification through Self-supervision [3.492636597449942]
  自己監督(Self-supervision)は、自動生成されたプレテキストタスクを解決し、手動による監督なしに学習することである。 本稿では,画像分類の精度を高めるために,自己訓練に自己監督を取り入れる3つの方法について検討する。
  論文  参考訳（メタデータ） (2021-09-02T08:24:41Z)
• Combining Probabilistic Logic and Deep Learning for Self-Supervised Learning [10.47937328610174]
  自己教師型学習は、監督ボトルネックを軽減するための有望な方向として現れています。 本稿では,タスク固有の自己監督のための統合フレームワークを提供する,深い確率論的論理について述べる。 次に、DPLに新たな自己スーパービジョンを自動学習する機能を追加する自己教師型自己スーパービジョン(S4)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:25:56Z)
• Online Adversarial Purification based on Self-Supervision [6.821598757786515]
  自己監視型オンライン優先浄化(SOAP:Self-supervised Online Adrial Purification)は、自己監視型損失を使ってテスト時に敵の例を浄化する斬新な防御戦略である。 SOAPは、最先端の敵対的なトレーニングと浄化方法に対する競争力のある堅牢な精度を提供します。 私たちの知る限りでは、私たちの論文は、オンラインテストタイムの浄化に自己監視信号を使うというアイデアを一般化した最初の論文です。
  論文  参考訳（メタデータ） (2021-01-23T00:19:52Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Induction and Exploitation of Subgoal Automata for Reinforcement Learning [75.55324974788475]
  本稿では,Regressed Learning (RL)タスクにおけるサブゴールの学習と活用のためのISAを提案する。 ISAは、タスクのサブゴールによってエッジがラベル付けされたオートマトンであるサブゴールオートマトンを誘導することで強化学習をインターリーブする。 サブゴールオートマトンはまた、タスクの完了を示す状態と、タスクが成功せずに完了したことを示す状態の2つの特別な状態で構成されている。
  論文  参考訳（メタデータ） (2020-09-08T16:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。