論文の概要: DABS: A Domain-Agnostic Benchmark for Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2111.12062v1
- Date: Tue, 23 Nov 2021 18:22:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 14:04:57.177018
- Title: DABS: A Domain-Agnostic Benchmark for Self-Supervised Learning
- Title（参考訳）: DABS: 自己監督学習のためのドメインに依存しないベンチマーク
- Authors: Alex Tamkin, Vincent Liu, Rongfei Lu, Daniel Fein, Colin Schultz, Noah
Goodman
- Abstract要約: 自己教師型学習のためのドメインに依存しないベンチマークであるDABSを提案する。
自然画像、マルチチャネルセンサデータ、英語テキスト、音声記録、多言語テキスト、胸部X線、およびテキスト記述を伴う画像の7つの領域でアルゴリズムを評価する。
e-Mix と ShED: 2つのベースラインドメインに依存しないアルゴリズムも提示する。
- 参考スコア（独自算出の注目度）: 6.040682281295584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning algorithms, including BERT and SimCLR, have enabled
significant strides in fields like natural language processing, computer
vision, and speech processing. However, these algorithms are domain-specific,
meaning that new self-supervised learning algorithms must be developed for each
new setting, including myriad healthcare, scientific, and multimodal domains.
To catalyze progress toward domain-agnostic methods, we introduce DABS: a
Domain-Agnostic Benchmark for Self-supervised learning. To perform well on
DABS, an algorithm is evaluated on seven diverse domains: natural images,
multichannel sensor data, English text, speech recordings, multilingual text,
chest x-rays, and images with text descriptions. Each domain contains an
unlabeled dataset for pretraining; the model is then is scored based on its
downstream performance on a set of labeled tasks in the domain. We also present
e-Mix and ShED: two baseline domain-agnostic algorithms; their relatively
modest performance demonstrates that significant progress is needed before
self-supervised learning is an out-of-the-box solution for arbitrary domains.
Code for benchmark datasets and baseline algorithms is available at
https://github.com/alextamkin/dabs.
- Abstract（参考訳）: BERTやSimCLRを含む自己教師付き学習アルゴリズムは、自然言語処理、コンピュータビジョン、音声処理といった分野で大きな進歩を遂げている。
しかし、これらのアルゴリズムはドメイン固有であり、医療、科学、マルチモーダルドメインを含む新しい設定ごとに新しい自己教師付き学習アルゴリズムを開発する必要がある。
ドメイン非依存的手法の進歩を促すために,ドメイン非依存型自己教師型学習ベンチマークであるDABSを紹介する。
DABSでは,自然画像,マルチチャネルセンサデータ,英語テキスト,音声記録,多言語テキスト,胸部X線,テキスト記述を伴う画像の7つの領域において,アルゴリズムが評価される。
各ドメインには事前トレーニング用のラベル付きデータセットが含まれており、ドメイン内のラベル付きタスクセットの下流のパフォーマンスに基づいてモデルがスコアされる。
E-Mix と ShED も提示する: 2つのベースラインドメインに依存しないアルゴリズム; 比較的控えめな性能は、自己教師付き学習が任意のドメインに対するアウト・オブ・ボックスのソリューションになる前に、大きな進歩が必要であることを示す。
ベンチマークデータセットとベースラインアルゴリズムのコードは、https://github.com/alextamkin/dabsで入手できる。
関連論文リスト
- A Curriculum Learning Approach for Multi-domain Text Classification
Using Keyword weight Ranking [17.71297141482757]
本稿では,キーワードウェイトランキングに基づくカリキュラム学習戦略を用いて,マルチドメインテキスト分類モデルの性能を向上させることを提案する。
AmazonのレビューとFDU-MTLデータセットの実験結果から,カリキュラム学習戦略は多分野テキスト分類モデルの性能を効果的に向上することが示された。
論文 参考訳（メタデータ） (2022-10-27T03:15:26Z) - Domain Invariant Masked Autoencoders for Self-supervised Learning from
Multi-domains [73.54897096088149]
マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。
中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。
PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
論文 参考訳（メタデータ） (2022-05-10T09:49:40Z) - Balancing Multi-Domain Corpora Learning for Open-Domain Response
Generation [3.3242685629646256]
オープンドメインの会話システムは、複数のドメインで等しく良い応答を生成すると仮定される。
本稿では,複数ドメインのコーパスに対して関連性のある応答を生成する手法について検討する。
論文 参考訳（メタデータ） (2022-05-05T11:10:54Z) - Domain Adaptation via Prompt Learning [39.97105851723885]
Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。
我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
論文 参考訳（メタデータ） (2022-02-14T13:25:46Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳（メタデータ） (2021-05-05T11:55:53Z) - TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for
Unsupervised Sentence Embedding Learning [53.32740707197856]
TSDAE(Sequential Denoising Auto-Encoder)を用いた最新の非監視方式を提案する。
ドメイン内の監視されたアプローチのパフォーマンスの93.1%を達成することができる。
論文 参考訳（メタデータ） (2021-04-14T17:02:18Z) - PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen
Domains [19.682729518136142]
PADA: T5モデルに基づいた、PromptベースのAutoregressive Domain Adaptationアルゴリズム。
本稿では,T5 モデルに基づく Prompt-based Autoregressive Domain Adaptation アルゴリズムを提案する。
2つのタスクの実験では、PADAは最先端のアプローチと強力なベースラインを強く上回ります。
論文 参考訳（メタデータ） (2021-02-24T11:02:29Z) - CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web
to Special Domain Search [89.48123965553098]
本稿では,特殊領域適応問題を緩和する探索システムを提案する。
このシステムは、ドメイン適応型事前学習と数発の学習技術を利用して、ニューラルネットワークがドメインの不一致を軽減するのに役立つ。
本システムでは,TREC-COVID タスクの第2ラウンドにおいて,非マニュアル実行において最善を尽くす。
論文 参考訳（メタデータ） (2020-11-03T09:10:48Z) - Meta-Learning for Domain Generalization in Semantic Parsing [124.32975734073949]
セマンティック解析のためにゼロショットドメインをターゲットにしたメタラーニングフレームワークを使用する。
ゼロショット解析の仮想トレインと非結合領域からのテストセットをシミュレートするモデル非依存のトレーニングアルゴリズムを適用した。
論文 参考訳（メタデータ） (2020-10-22T19:00:36Z) - Cross-Domain Facial Expression Recognition: A Unified Evaluation
Benchmark and Adversarial Graph Learning [85.6386289476598]
我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。
我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-03T15:00:31Z) - Text Detection on Roughly Placed Books by Leveraging a Learning-based
Model Trained with Another Domain Data [0.30458514384586394]
本稿では,本書におけるテキスト領域の把握に適したバウンディングボックスの生成方法に焦点をあてる。
我々は,学習に基づく手法の結果を改善し,活用することで,境界ボックスを構築するアルゴリズムを開発した。
我々のアルゴリズムは、異なる学習に基づくアプローチを用いてシーンテキストを検出することができる。
論文 参考訳（メタデータ） (2020-06-26T05:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。