論文の概要: Natural Language Inference with Mixed Effects
- arxiv url: http://arxiv.org/abs/2010.10501v1
- Date: Tue, 20 Oct 2020 17:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 07:05:44.459279
- Title: Natural Language Inference with Mixed Effects
- Title(参考訳): 混合効果を用いた自然言語推論
- Authors: William Gantt, Benjamin Kane, Aaron Steven White
- Abstract要約: 本稿では,モデルに不要なノイズを加えることなく,アグリゲーションステップをスキップし,生のアノテーションを直接訓練できる汎用手法を提案する。
本研究では,既存のニューラルモデルにテクスタイノネータランダム効果を組み込むことにより,テクスタイトミックス効果モデルの概念を一般化し,そのような効果を組み込まないモデルよりも優れた性能を示す。
- 参考スコア(独自算出の注目度): 4.560556461930812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is growing evidence that the prevalence of disagreement in the raw
annotations used to construct natural language inference datasets makes the
common practice of aggregating those annotations to a single label problematic.
We propose a generic method that allows one to skip the aggregation step and
train on the raw annotations directly without subjecting the model to unwanted
noise that can arise from annotator response biases. We demonstrate that this
method, which generalizes the notion of a \textit{mixed effects model} by
incorporating \textit{annotator random effects} into any existing neural model,
improves performance over models that do not incorporate such effects.
- Abstract(参考訳): 自然言語推論データセットの構築に使用される生アノテーションにおける不一致の頻度は、それらのアノテーションを単一のラベルに集約する一般的な方法であることを示す証拠が増えている。
本稿では,アノテータ応答バイアスから生じる不要な雑音にモデルを従わずに,アグリゲータのステップを省略し,生のアノテーションを直接訓練する汎用手法を提案する。
本手法は,既存のニューラルモデルに \textit{annotator random effects} を組み込むことにより,そのような効果を組み込まないモデルに対する性能を向上させることにより, \textit{mixed effects model} の概念を一般化したものである。
関連論文リスト
- AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Assessing the overall and partial causal well-specification of nonlinear
additive noise models [0.0]
非線形因果加法および潜在的にヘテロシダスティックノイズモデルにおけるモデルの誤特定を検出する手法を提案する。
このような誤用があっても因果関係を推測できる予測変数を同定する。
論文 参考訳(メタデータ) (2023-10-25T09:44:16Z) - NaturalAdversaries: Can Naturalistic Adversaries Be as Effective as
Artificial Adversaries? [61.58261351116679]
自然言語理解タスクのための2段階の逆例生成フレームワーク(NaturalAdversaries)を提案する。
モデルパラメータへのアクセスレベルに基づいて、ブラックボックスとホワイトボックスの双方に適応可能である。
以上の結果から,これらの対立はドメイン全体にわたって一般化され,ニューラルネットワーク分類モデルの堅牢性向上に向けた今後の研究への洞察が得られた。
論文 参考訳(メタデータ) (2022-11-08T16:37:34Z) - Rethinking Generalization: The Impact of Annotation Style on Medical
Image Segmentation [9.056814157662965]
アノテーションのバイアスを無視するのではなく、アノテーションのバイアスをモデル化することで、データセット間のアノテーションスタイルの違いを考慮できる有望な方法が示される。
次に、特定の画像特徴と相関するモデルアノテーションスタイルに対する画像条件付け手法を提案する。
論文 参考訳(メタデータ) (2022-10-31T15:28:49Z) - Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on
a Syntactic Task [70.29624135819884]
目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。
名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
論文 参考訳(メタデータ) (2022-04-14T11:33:15Z) - On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。
改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。
我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文 参考訳(メタデータ) (2021-10-15T21:41:16Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳(メタデータ) (2021-09-09T10:10:29Z) - A Globally Normalized Neural Model for Semantic Parsing [30.209064474475944]
文脈自由文法(CFG)に基づく意味解析のためのグローバル正規化モデルを提案する。
本モデルでは各ステップで実値スコアを予測し,ラベルバイアス問題に悩まされない。
論文 参考訳(メタデータ) (2021-06-07T07:06:36Z) - BERT & Family Eat Word Salad: Experiments with Text Understanding [17.998891912502092]
自然言語の理解を主張するどんなモデルも混同すべき不整合な入力に対するBERTファミリーからの大規模なモデルの応答を研究します。
実験により、最先端のモデルは常に不適切なものとして認識できず、その代わりに高い信頼度を予測できることが示されている。
モデルが無効な入力を認識するように明示的に訓練されている場合、パフォーマンスが低下することなくそのような攻撃に堅牢であることが示されています。
論文 参考訳(メタデータ) (2021-01-10T01:32:57Z) - Reinforcement Learning-based N-ary Cross-Sentence Relation Extraction [3.342376225738321]
遠方監督に基づくn-aryクロス文関係抽出モデルでは、n 個の実体に言及する連続した文がこれらの n 個の実体の関係を記述していると仮定する。
一方、一部の非連続文は1つの関係を記述しており、これらの文はこの仮定ではラベル付けできない。
最初の問題に対処する新しい文分布推定器モデルを提案する。
論文 参考訳(メタデータ) (2020-09-26T20:39:55Z) - Learning to Manipulate Individual Objects in an Image [71.55005356240761]
本稿では,独立性および局所性を有する潜在因子を用いた生成モデルを学習する手法について述べる。
これは、潜伏変数の摂動が、オブジェクトに対応する合成画像の局所領域のみに影響を与えることを意味する。
他の教師なし生成モデルとは異なり、オブジェクトレベルのアノテーションを必要とせず、オブジェクト中心の操作を可能にする。
論文 参考訳(メタデータ) (2020-04-11T21:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。