論文の概要: Adversarial Training for Commonsense Inference

• arxiv url: http://arxiv.org/abs/2005.08156v1
• Date: Sun, 17 May 2020 03:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 05:24:53.034446
• Title: Adversarial Training for Commonsense Inference
• Title（参考訳）: 常識推論のための敵対的訓練
• Authors: Lis Pereira, Xiaodong Liu, Fei Cheng, Masayuki Asahara, Ichiro Kobayashi
• Abstract要約: 本稿では,Commonsense InferenCE(ALICE)のためのAdversariaLトレーニングアルゴリズムを提案する。 単語埋め込みに小さな摂動を適用し、結果として生じる敵のリスクを最小限に抑えてモデルを正規化する。
• 参考スコア（独自算出の注目度）: 23.421641463301953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an AdversariaL training algorithm for commonsense InferenCE (ALICE). We apply small perturbations to word embeddings and minimize the resultant adversarial risk to regularize the model. We exploit a novel combination of two different approaches to estimate these perturbations: 1) using the true label and 2) using the model prediction. Without relying on any human-crafted features, knowledge bases, or additional datasets other than the target datasets, our model boosts the fine-tuning performance of RoBERTa, achieving competitive results on multiple reading comprehension datasets that require commonsense inference.
• Abstract（参考訳）: 本稿では,Commonsense InferenCE(ALICE)のためのAdversariaLトレーニングアルゴリズムを提案する。 我々は、単語埋め込みに小さな摂動を適用し、モデルに正則化する結果として生じる敵意リスクを最小限に抑える。 これらの摂動を推定するために、2つの異なるアプローチの新たな組み合わせを利用する。 1) 真のラベルを用いて 2) モデル予測を用いた。 人為的な特徴や知識ベース、あるいはターゲットデータセット以外の追加データセットに頼ることなく、我々のモデルはRoBERTaの微調整性能を高め、常識推論を必要とする複数の読解データセットに対する競合的な結果を達成する。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Causal Coordinated Concurrent Reinforcement Learning [8.654978787096807]
  本稿では,データ共有と協調探索のための新しいアルゴリズムフレームワークを提案する。 本アルゴリズムは,独立規制による個人差分制御モデルパラメータの抽出において,付加雑音モデル-混合モデル(ANM-MM)という形で因果推論アルゴリズムを利用する。 抽出したモデルパラメータの類似度に基づく新しいデータ共有方式を提案し, 自己回帰, 振り子, カートポールのスイングアップタスクのセットにおいて, 優れた学習速度を示す。
  論文  参考訳（メタデータ） (2024-01-31T17:20:28Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Generalized One-Class Learning Using Pairs of Complementary Classifiers [41.64645294104883]
  1クラス学習は、単一のクラスでのみアノテーションが利用できるデータにモデルを適合させる古典的な問題である。 本稿では,一級学習の新たな目的を探求し,これを一般化一級識別サブスペース(GODS)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-24T18:52:05Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。