論文の概要: Self-supervised self-supervision by combining deep learning and probabilistic logic

• arxiv url: http://arxiv.org/abs/2012.12474v1
• Date: Wed, 23 Dec 2020 04:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:20:12.652659
• Title: Self-supervised self-supervision by combining deep learning and probabilistic logic
• Title（参考訳）: 深層学習と確率論的論理を組み合わせた自己教師型自己監督
• Authors: Hunter Lang, Hoifung Poon
• Abstract要約: 自己監督型自己スーパービジョン(S4)を提案し,新たな自己スーパービジョンを自動学習する。 S4は自動的に正確な自己スーパービジョンを提案し、監督された手法の精度を人間の努力のごく一部とほぼ一致させることができる。
• 参考スコア（独自算出の注目度）: 10.515109852315168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Labeling training examples at scale is a perennial challenge in machine learning. Self-supervision methods compensate for the lack of direct supervision by leveraging prior knowledge to automatically generate noisy labeled examples. Deep probabilistic logic (DPL) is a unifying framework for self-supervised learning that represents unknown labels as latent variables and incorporates diverse self-supervision using probabilistic logic to train a deep neural network end-to-end using variational EM. While DPL is successful at combining pre-specified self-supervision, manually crafting self-supervision to attain high accuracy may still be tedious and challenging. In this paper, we propose Self-Supervised Self-Supervision (S4), which adds to DPL the capability to learn new self-supervision automatically. Starting from an initial "seed," S4 iteratively uses the deep neural network to propose new self supervision. These are either added directly (a form of structured self-training) or verified by a human expert (as in feature-based active learning). Experiments show that S4 is able to automatically propose accurate self-supervision and can often nearly match the accuracy of supervised methods with a tiny fraction of the human effort.
• Abstract（参考訳）: 大規模なトレーニング例のラベル付けは、マシンラーニングにおける長年にわたる課題だ。 自己スーパービジョン手法は、事前知識を活用してノイズの多いラベル付き例を自動的に生成することにより、直接的な監督の欠如を補う。 deep probabilistic logic (dpl) は未知ラベルを潜在変数として表現する自己教師あり学習のための統一フレームワークであり、確率論理を用いた多種多様な自己教師あり論理を組み込んで、変分emを用いてディープニューラルネットワークをエンドツーエンドに訓練する。 DPLは、事前に特定された自己スーパービジョンを組み合わせることに成功しているが、高い精度を達成するために手動で自己スーパービジョンを構築することは、いまだに面倒で難しい。 本稿では、DPLに新たな自己スーパービジョンを自動学習する機能を追加するセルフスーパービジョン(S4)を提案する。 s4は、最初の"シード"から始まり、ディープニューラルネットワークを使って新しい自己管理を提案する。 これらは直接追加(構造化された自己学習の形式)するか、あるいは(機能ベースのアクティブラーニングのように)人間の専門家によって検証される。 実験によると、S4は自動的に正確な自己スーパービジョンを提案し、監督された手法の精度を人間の努力のごく一部とほぼ一致させることができる。

関連論文リスト

• SSL-Lanes: Self-Supervised Learning for Motion Forecasting in Autonomous Driving [9.702784248870522]
  自己教師付き学習(SSL)は、畳み込みニューラルネットワーク(CNN)とグラフニューラルネットワーク(GNN)を訓練する新興技術である。 本研究では,移動予測に自己超越を取り入れた最初の体系的な探索を報告する。
  論文  参考訳（メタデータ） (2022-06-28T16:23:25Z)
• Automatic Rule Induction for Efficient Semi-Supervised Learning [56.91428251227253]
  半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。 事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。 本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2022-05-18T16:50:20Z)
• Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration [83.29856873525674]
  本稿では,自己教師型学習のためのビューサンプリング問題を対象とした,軽量潜在変数モデル UOTA を提案する。 本手法は,多くの主流な自己指導型学習手法に直接応用する。
  論文  参考訳（メタデータ） (2021-12-15T14:05:23Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Self-Supervised Models are Continual Learners [79.70541692930108]
  本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
  論文  参考訳（メタデータ） (2021-12-08T10:39:13Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Better Self-training for Image Classification through Self-supervision [3.492636597449942]
  自己監督(Self-supervision)は、自動生成されたプレテキストタスクを解決し、手動による監督なしに学習することである。 本稿では,画像分類の精度を高めるために,自己訓練に自己監督を取り入れる3つの方法について検討する。
  論文  参考訳（メタデータ） (2021-09-02T08:24:41Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• Combining Probabilistic Logic and Deep Learning for Self-Supervised Learning [10.47937328610174]
  自己教師型学習は、監督ボトルネックを軽減するための有望な方向として現れています。 本稿では,タスク固有の自己監督のための統合フレームワークを提供する,深い確率論的論理について述べる。 次に、DPLに新たな自己スーパービジョンを自動学習する機能を追加する自己教師型自己スーパービジョン(S4)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:25:56Z)
• Online Adversarial Purification based on Self-Supervision [6.821598757786515]
  自己監視型オンライン優先浄化(SOAP:Self-supervised Online Adrial Purification)は、自己監視型損失を使ってテスト時に敵の例を浄化する斬新な防御戦略である。 SOAPは、最先端の敵対的なトレーニングと浄化方法に対する競争力のある堅牢な精度を提供します。 私たちの知る限りでは、私たちの論文は、オンラインテストタイムの浄化に自己監視信号を使うというアイデアを一般化した最初の論文です。
  論文  参考訳（メタデータ） (2021-01-23T00:19:52Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。