論文の概要: Distributed NLI: Learning to Predict Human Opinion Distributions for Language Reasoning

• arxiv url: http://arxiv.org/abs/2104.08676v1
• Date: Sun, 18 Apr 2021 01:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:48:56.349560
• Title: Distributed NLI: Learning to Predict Human Opinion Distributions for Language Reasoning
• Title（参考訳）: 分散NLI:言語推論のための人間の意見分布予測学習
• Authors: Xiang Zhou, Yixin Nie, Mohit Bansal
• Abstract要約: 自然言語推論のための人間の判断の分布を予測することを目的としている新しいNLUタスクである分散NLIを紹介します。 本研究では,モンテカルロ(MC)Dropout,Deep Ensemble,Re-Calibration,Distribution Distillationという新たな分布推定手法を適用することで,人間の判断分布を捉えることができることを示す。
• 参考スコア（独自算出の注目度）: 76.17436599516074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce distributed NLI, a new NLU task with a goal to predict the distribution of human judgements for natural language inference. We show that models can capture human judgement distribution by applying additional distribution estimation methods, namely, Monte Carlo (MC) Dropout, Deep Ensemble, Re-Calibration, and Distribution Distillation. All four of these methods substantially outperform the softmax baseline. We show that MC Dropout is able to achieve decent performance without any distribution annotations while Re-Calibration can further give substantial improvements when extra distribution annotations are provided, suggesting the value of multiple annotations for the example in modeling the distribution of human judgements. Moreover, MC Dropout and Re-Calibration can achieve decent transfer performance on out-of-domain data. Despite these improvements, the best results are still far below estimated human upper-bound, indicating that the task of predicting the distribution of human judgements is still an open, challenging problem with large room for future improvements. We showcase the common errors for MC Dropout and Re-Calibration. Finally, we give guidelines on the usage of these methods with different levels of data availability and encourage future work on modeling the human opinion distribution for language reasoning.
• Abstract（参考訳）: 我々は,自然言語推論のための人間の判断の分布を予測することを目的とした,新しいnluタスクであるdistributed nliを紹介する。 本研究では,モンテカルロ(MC)Dropout,Deep Ensemble,Re-Calibration,Distribution Distillationという新たな分布推定手法を適用することで,人間の判断分布を捉えることができることを示す。 これら4つの手法は全てソフトマックスベースラインを大幅に上回る。 我々は,mc dropout が分散アノテーションを使わずに適正な性能を達成できることを示す一方で,追加の分散アノテーションが提供された場合,再校正により大幅な改善が期待できることを示す。 さらに、MCDropoutとRe-Calibrationはドメイン外のデータに対して十分な転送性能が得られる。 これらの改善にもかかわらず、最良の結果はまだヒトの上層部をはるかに下回っており、人間の判断の分布を予測するタスクはまだオープンで困難な問題であり、将来の改善の余地が大きいことを示している。 MCドロップアウトとリキャリブレーションの一般的なエラーを示す。 最後に、異なるレベルのデータアベイラビリティを持つこれらのメソッドの使用に関するガイドラインを提供し、言語推論のための人間の意見分布のモデリングに関する今後の作業を促す。

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Mandoline: Model Evaluation under Distribution Shift [8.007644303175395]
  マシンラーニングモデルは、トレーニングや検証対象と異なる設定でデプロイされることが多い。 これらの問題を緩和する新しい評価フレームワークであるMandolineを開発した。 ユーザーは単純な"スライシング関数" - ノイズがあり、分散シフトの可能な軸をキャプチャすることを目的とした、潜在的に相関したバイナリ関数を書く。
  論文  参考訳（メタデータ） (2021-07-01T17:57:57Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。