論文の概要: End-to-end Neural Coreference Resolution Revisited: A Simple yet
Effective Baseline
- arxiv url: http://arxiv.org/abs/2107.01700v1
- Date: Sun, 4 Jul 2021 18:12:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 15:03:42.327155
- Title: End-to-end Neural Coreference Resolution Revisited: A Simple yet
Effective Baseline
- Title(参考訳): end-to-end neural coreference resolution revisited: 単純かつ効果的なベースライン
- Authors: Tuan Manh Lai, Trung Bui, Doo Soon Kim
- Abstract要約: 本稿では、コア参照解決のための単純で効果的なベースラインを提案する。
我々のモデルは、オリジナルのニューラルコア参照解決モデルの簡易版である。
我々の研究は、既存のモデルや新しく提案されたモデルの複雑さを慎重に正当化する必要性を示す証拠を提供する。
- 参考スコア(独自算出の注目度): 20.431647446999996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since the first end-to-end neural coreference resolution model was
introduced, many extensions to the model have been proposed, ranging from using
higher-order inference to directly optimizing evaluation metrics using
reinforcement learning. Despite improving the coreference resolution
performance by a large margin, these extensions add a lot of extra complexity
to the original model. Motivated by this observation and the recent advances in
pre-trained Transformer language models, we propose a simple yet effective
baseline for coreference resolution. Our model is a simplified version of the
original neural coreference resolution model, however, it achieves impressive
performance, outperforming all recent extended works on the public English
OntoNotes benchmark. Our work provides evidence for the necessity of carefully
justifying the complexity of existing or newly proposed models, as introducing
a conceptual or practical simplification to an existing model can still yield
competitive results.
- Abstract(参考訳): 最初のエンドツーエンドのニューラルネットワークコリファレンスレゾリューションモデルが導入されてから、高次推論の使用から強化学習による評価メトリクスの直接最適化まで、多くのモデルの拡張が提案されている。
コリファレンスレゾリューションのパフォーマンスを大きなマージンで改善したものの、これらの拡張は元のモデルに多くの複雑さをもたらします。
この観察と, 事前学習型トランスフォーマー言語モデルの最近の進歩に触発されて, コア参照解決のためのシンプルで効果的なベースラインを提案する。
私たちのモデルは、オリジナルのneural coreference resolutionモデルの単純化版ですが、印象的なパフォーマンスを実現しています。
我々の研究は、既存のモデルや新しく提案されたモデルの複雑さを慎重に正当化する必要性を示す証拠を提供する。
関連論文リスト
- Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-05-30T10:07:17Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳(メタデータ) (2022-10-28T17:52:10Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-05-30T16:55:59Z) - Learning Rich Nearest Neighbor Representations from Self-supervised
Ensembles [60.97922557957857]
推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。
この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
論文 参考訳(メタデータ) (2021-10-19T22:24:57Z) - Rethinking Self-Supervision Objectives for Generalizable Coherence
Modeling [8.329870357145927]
機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。
タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。
本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
論文 参考訳(メタデータ) (2021-10-14T07:44:14Z) - Non-Autoregressive Text Generation with Pre-trained Language Models [40.50508206201288]
BERTはNAGモデルのバックボーンとして利用でき、性能を大幅に向上できることを示す。
バニラNAGモデルの2つの共通問題を緩和するメカニズムを考案する。
本稿では,出力長を事前に推定できる新しいデコード戦略である ratio-first を提案する。
論文 参考訳(メタデータ) (2021-02-16T15:30:33Z) - Robustness to Augmentations as a Generalization metric [0.0]
一般化とは、目に見えないドメインを予測するモデルの能力です。
拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。
提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
論文 参考訳(メタデータ) (2021-01-16T15:36:38Z) - Exploring End-to-End Differentiable Natural Logic Modeling [21.994060519995855]
ニューラルネットワークに自然言語を統合する、エンドツーエンドでトレーニングされた差別化可能なモデルについて検討する。
提案モデルでは,モジュールネットワークを用いて自然言語操作をモデル化し,メモリコンポーネントで拡張してコンテキスト情報をモデル化する。
論文 参考訳(メタデータ) (2020-11-08T18:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。