論文の概要: Combining Probabilistic Logic and Deep Learning for Self-Supervised
Learning
- arxiv url: http://arxiv.org/abs/2107.12591v1
- Date: Tue, 27 Jul 2021 04:25:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-29 01:39:49.316319
- Title: Combining Probabilistic Logic and Deep Learning for Self-Supervised
Learning
- Title(参考訳): 確率論理とディープラーニングを組み合わせた自己教師付き学習
- Authors: Hoifung Poon, Hai Wang, Hunter Lang
- Abstract要約: 自己教師型学習は、監督ボトルネックを軽減するための有望な方向として現れています。
本稿では,タスク固有の自己監督のための統合フレームワークを提供する,深い確率論的論理について述べる。
次に、DPLに新たな自己スーパービジョンを自動学習する機能を追加する自己教師型自己スーパービジョン(S4)を提案する。
- 参考スコア(独自算出の注目度): 10.47937328610174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning has proven effective for various application tasks, but its
applicability is limited by the reliance on annotated examples. Self-supervised
learning has emerged as a promising direction to alleviate the supervision
bottleneck, but existing work focuses on leveraging co-occurrences in unlabeled
data for task-agnostic representation learning, as exemplified by masked
language model pretraining. In this chapter, we explore task-specific
self-supervision, which leverages domain knowledge to automatically annotate
noisy training examples for end applications, either by introducing labeling
functions for annotating individual instances, or by imposing constraints over
interdependent label decisions. We first present deep probabilistic logic(DPL),
which offers a unifying framework for task-specific self-supervision by
composing probabilistic logic with deep learning. DPL represents unknown labels
as latent variables and incorporates diverse self-supervision using
probabilistic logic to train a deep neural network end-to-end using variational
EM. Next, we present self-supervised self-supervision(S4), which adds to DPL
the capability to learn new self-supervision automatically. Starting from an
initial seed self-supervision, S4 iteratively uses the deep neural network to
propose new self supervision. These are either added directly (a form of
structured self-training) or verified by a human expert (as in feature-based
active learning). Experiments on real-world applications such as biomedical
machine reading and various text classification tasks show that task-specific
self-supervision can effectively leverage domain expertise and often match the
accuracy of supervised methods with a tiny fraction of human effort.
- Abstract(参考訳): ディープラーニングは様々なアプリケーションタスクに有効であることが証明されているが、アノテートされた例に依存して適用性は制限されている。
自己監督学習は、監督ボトルネックを軽減するための有望な方向性として現れてきたが、既存の研究は、マスク言語モデルの事前学習によって例示されるように、タスク非依存表現学習のためのラベルなしデータにおける共起の活用に焦点を当てている。
この章では、ドメイン知識を活用して、個々のインスタンスにアノテートするラベル機能を導入するか、依存するラベル決定に対する制約を課すことによって、エンドアプリケーションのノイズの多いトレーニング例を自動的にアノテートするタスク固有のセルフスーパービジョンについて検討する。
まず,確率論理をディープラーニングと組み合わせることでタスク固有の自己スーパービジョンのための統一フレームワークを提供する,deep probabilistic logic(dpl)を提案する。
dplは未知のラベルを潜在変数として表現し、確率論理を用いた多様な自己スーパービジョンを取り入れ、変動emを用いたディープニューラルネットワークエンドツーエンドを訓練する。
次に,新しい自己スーパービジョンを学習する能力をdplに加えた自己教師付き自己スーパービジョン(s4)を提案する。
最初のシード自己スーパービジョンから始まり、s4はディープニューラルネットワークを反復的に使用し、新しい自己監督を提案する。
これらは直接追加(構造化された自己学習の形式)するか、あるいは(機能ベースのアクティブラーニングのように)人間の専門家によって検証される。
生物医学的な機械の読み取りや様々なテキスト分類タスクのような実世界のアプリケーションに関する実験は、タスク固有の自己スーパービジョンがドメインの専門知識を効果的に活用し、監督されたメソッドの正確さと人間の努力のごく一部にマッチすることを示している。
関連論文リスト
- Unsupervised 3D registration through optimization-guided cyclical
self-training [71.75057371518093]
最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。
本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。
腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
論文 参考訳(メタデータ) (2023-06-29T14:54:10Z) - Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。
本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T01:09:18Z) - Self-Supervised Multi-Object Tracking For Autonomous Driving From
Consistency Across Timescales [53.55369862746357]
自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。
しかし、その再識別精度は、監督対象よりも低い。
本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
論文 参考訳(メタデータ) (2023-04-25T20:47:29Z) - Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。
大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。
我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
論文 参考訳(メタデータ) (2022-04-08T03:37:56Z) - Self-supervised learning for joint SAR and multispectral land cover
classification [38.8529535887097]
マルチチャネルモデルの自己教師型トレーニングのためのフレームワークと特定のタスクを提案する。
提案手法は,土地被覆分類のラベルと相関する特徴の学習に有効であることを示す。
論文 参考訳(メタデータ) (2021-08-20T09:02:07Z) - Automated Self-Supervised Learning for Graphs [37.14382990139527]
本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。
我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。
本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-10T03:09:20Z) - Self-supervised driven consistency training for annotation efficient
histopathology image analysis [13.005873872821066]
大きなラベル付きデータセットでニューラルネットワークをトレーニングすることは、計算病理学において依然として支配的なパラダイムである。
本研究では,非教師付き表現学習のための強力な監視信号を学ぶために,ヒストロジ全体スライディング画像の背景となる多段階的文脈的手がかりを利用する自己教師付きプレテキストタスクを提案する。
また,タスク固有の未ラベルデータとの予測整合性に基づいて,事前学習した表現を下流タスクに効果的に転送することを学ぶ教師による半教師付き一貫性パラダイムを提案する。
論文 参考訳(メタデータ) (2021-02-07T19:46:21Z) - Self-supervised self-supervision by combining deep learning and
probabilistic logic [10.515109852315168]
自己監督型自己スーパービジョン(S4)を提案し,新たな自己スーパービジョンを自動学習する。
S4は自動的に正確な自己スーパービジョンを提案し、監督された手法の精度を人間の努力のごく一部とほぼ一致させることができる。
論文 参考訳(メタデータ) (2020-12-23T04:06:41Z) - Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。
限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
論文 参考訳(メタデータ) (2020-12-14T12:49:37Z) - Can Semantic Labels Assist Self-Supervised Visual Representation
Learning? [194.1681088693248]
近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。
一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。
本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
論文 参考訳(メタデータ) (2020-11-17T13:25:00Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。