論文の概要: Attention-based Contrastive Learning for Winograd Schemas
- arxiv url: http://arxiv.org/abs/2109.05108v1
- Date: Fri, 10 Sep 2021 21:10:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:52:20.975232
- Title: Attention-based Contrastive Learning for Winograd Schemas
- Title（参考訳）: 注意に基づくウィノグラードスキーマのコントラスト学習
- Authors: Tassilo Klein and Moin Nabi
- Abstract要約: 本稿では, コントラスト学習をトランスフォーマーに拡張して, ウィノグラードチャレンジに挑戦できるかを検討する。
本稿では, 自己意識のレベルにおいて, コントラスト的損失を直接活用する, 新たな自己監督フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 27.11678023496321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning has recently attracted considerable attention in the
NLP community for its ability to learn discriminative features using a
contrastive objective. This paper investigates whether contrastive learning can
be extended to Transfomer attention to tackling the Winograd Schema Challenge.
To this end, we propose a novel self-supervised framework, leveraging a
contrastive loss directly at the level of self-attention. Experimental analysis
of our attention-based models on multiple datasets demonstrates superior
commonsense reasoning capabilities. The proposed approach outperforms all
comparable unsupervised approaches while occasionally surpassing supervised
ones.
- Abstract（参考訳）: 自己教師付き学習は近年,nlpコミュニティにおいて,対照目的を用いて識別的特徴を学習する能力に注目が集まっている。
本稿では,ウィノグラード・スキーマ・チャレンジに取り組むために,コントラスト学習をトランスフォマー的注意に拡張できるかどうかについて検討する。
そこで本稿では, 自己意識のレベルにおいて, コントラスト的損失を直接活用する, 新たな自己監督フレームワークを提案する。
複数のデータセットに対する注意ベースモデルの実験的解析により,より優れたコモンセンス推論能力を示す。
提案手法は、ほぼ同等の教師なしアプローチを上回り、時には教師なしアプローチを上回ります。
関連論文リスト
- Towards Robust Recommendation via Decision Boundary-aware Graph Contrastive Learning [25.514007761856632]
グラフコントラスト学習(GCL)は、データ間隔によるバイアスの低減効果により、レコメンデータシステムにおいて注目を集めている。
これらの手法は, 動的学習過程における意味的不変性と難易度とのバランスをとるのに苦慮していると論じる。
本稿では,モデル能力の進化に伴い,コントラッシブペアのセマンティック不変性を効果的に維持し,動的に適応する新しいGCLベースのレコメンデーションフレームワークRGCLを提案する。
論文 参考訳（メタデータ） (2024-07-14T13:03:35Z) - Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。
本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
論文 参考訳（メタデータ） (2023-06-13T01:09:18Z) - Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。
SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
論文 参考訳（メタデータ） (2021-11-23T03:29:18Z) - Recent Advancements in Self-Supervised Paradigms for Visual Feature
Representation [0.41436032949434404]
教師付き学習は、最先端のパフォーマンスに到達するために大量のラベル付きデータを必要とする。
ラベル付けのコストを回避するため,ラベル付けされていないデータを利用する自己管理手法が提案された。
本研究は,特徴表現のための自己監督パラダイムにおける近年の展開に関する包括的で洞察に富んだ調査と分析を行う。
論文 参考訳（メタデータ） (2021-11-03T07:02:34Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
教師付き学習では、データは不完全で差別的な情報で注釈付けされる。
本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。
弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-04T18:14:32Z) - Can Semantic Labels Assist Self-Supervised Visual Representation
Learning? [194.1681088693248]
近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。
一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。
本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
論文 参考訳（メタデータ） (2020-11-17T13:25:00Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳（メタデータ） (2020-06-10T00:21:35Z) - Contrastive Self-Supervised Learning for Commonsense Reasoning [26.68818542540867]
本稿では,プロ名詞の曖昧さとウィノグラードの課題を解決するための自己指導手法を提案する。
提案手法は,いわゆる「トリガー」単語に関連する訓練コーパスの特徴的構造を利用する。
論文 参考訳（メタデータ） (2020-05-02T00:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。