論文の概要: Contrastive Self-Supervised Learning for Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2005.00669v1
- Date: Sat, 2 May 2020 00:39:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 11:40:46.511268
- Title: Contrastive Self-Supervised Learning for Commonsense Reasoning
- Title（参考訳）: コモンセンス推論のためのコントラスト型自己監督学習
- Authors: Tassilo Klein and Moin Nabi
- Abstract要約: 本稿では,プロ名詞の曖昧さとウィノグラードの課題を解決するための自己指導手法を提案する。
提案手法は,いわゆる「トリガー」単語に関連する訓練コーパスの特徴的構造を利用する。
- 参考スコア（独自算出の注目度）: 26.68818542540867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a self-supervised method to solve Pronoun Disambiguation and
Winograd Schema Challenge problems. Our approach exploits the characteristic
structure of training corpora related to so-called "trigger" words, which are
responsible for flipping the answer in pronoun disambiguation. We achieve such
commonsense reasoning by constructing pair-wise contrastive auxiliary
predictions. To this end, we leverage a mutual exclusive loss regularized by a
contrastive margin. Our architecture is based on the recently introduced
transformer networks, BERT, that exhibits strong performance on many NLP
benchmarks. Empirical results show that our method alleviates the limitation of
current supervised approaches for commonsense reasoning. This study opens up
avenues for exploiting inexpensive self-supervision to achieve performance gain
in commonsense reasoning tasks.
- Abstract（参考訳）: 代名詞の曖昧さ解消とウィノグラードスキーマの課題を解決するための自己教師あり手法を提案する。
提案手法は,いわゆる「トリガー」単語に関連する学習コーパスの特徴的構造を利用して,代名詞の曖昧さに答えを反転させる。
ペアワイズ・コントラッシブな補助予測を構築することで、このような常識推論を実現する。
この目的のために、コントラストマージンによって正規化された相互排他的損失を利用する。
我々のアーキテクチャは、最近導入された変圧器ネットワークBERTに基づいており、多くのNLPベンチマークで高い性能を示している。
実験により,本手法はコモンセンス推論における現在の教師付きアプローチの限界を緩和することを示す。
本研究は, 安価な自己スーパービジョンを活用し, 常識推論タスクの性能向上を実現するための道筋を開く。
関連論文リスト
- Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z) - Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳（メタデータ） (2023-08-28T03:03:03Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳（メタデータ） (2023-05-26T16:04:28Z) - Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。
本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文 参考訳（メタデータ） (2023-04-23T13:54:39Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳（メタデータ） (2023-03-10T14:38:49Z) - Reinforcement Learning with a Terminator [80.34572413850186]
我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。
我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
論文 参考訳（メタデータ） (2022-05-30T18:40:28Z) - Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。
トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
論文 参考訳（メタデータ） (2021-10-15T22:01:16Z) - Attention-based Contrastive Learning for Winograd Schemas [27.11678023496321]
本稿では, コントラスト学習をトランスフォーマーに拡張して, ウィノグラードチャレンジに挑戦できるかを検討する。
本稿では, 自己意識のレベルにおいて, コントラスト的損失を直接活用する, 新たな自己監督フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-10T21:10:22Z) - Feedback in Imitation Learning: Confusion on Causality and Covariate
Shift [12.93527098342393]
我々は,過去の行動に対する条件付けが,学習者の「実行」エラーと性能の劇的な相違につながることを論じる。
我々は、模倣学習アプローチをテストするために使用される既存のベンチマークを分析する。
従来の文献とは驚くほど対照的に,行動的クローン化は優れた結果をもたらすことが判明した。
論文 参考訳（メタデータ） (2021-02-04T20:18:56Z) - Representation Learning via Invariant Causal Mechanisms [19.0976564154636]
ラベルなしデータのみを用いて表現を事前学習することで、コストのかかる教師付き信号への依存を減らすための戦略として、自己教師付き学習が登場した。
プレトレーニング時に使用されるプロキシ分類器の明示的な不変性制約によって、データ拡張をより効果的に活用する方法を示す。
そこで本稿では,新たな自己教師型学習手法であるRepresentation Learning via In Causvariantal Mechanisms (Relic)を提案する。
論文 参考訳（メタデータ） (2020-10-15T17:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。