論文の概要: Investigating Failures to Generalize for Coreference Resolution Models

• arxiv url: http://arxiv.org/abs/2303.09092v1
• Date: Thu, 16 Mar 2023 05:32:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 16:47:18.431678
• Title: Investigating Failures to Generalize for Coreference Resolution Models
• Title（参考訳）: コリファレンスレゾリューションモデルのための一般化失敗の調査
• Authors: Ian Porada, Alexandra Olteanu, Kaheer Suleman, Adam Trischler, Jackie Chi Kit Cheung
• Abstract要約: 本稿では,現在のコア参照解決モデルの誤差が,データセット間での運用方法の相違にどの程度関連しているかを検討する。 具体的には、モデル性能をいくつかのタイプのコア参照に対応するカテゴリに分け、分解する。 このブレークダウンは、異なるコア参照タイプをまたいだ一般化能力において、最先端モデルがどのように異なるかを調べるのに役立ちます。
• 参考スコア（独自算出の注目度）: 93.95952368743919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coreference resolution models are often evaluated on multiple datasets. Datasets vary, however, in how coreference is realized -- i.e., how the theoretical concept of coreference is operationalized in the dataset -- due to factors such as the choice of corpora and annotation guidelines. We investigate the extent to which errors of current coreference resolution models are associated with existing differences in operationalization across datasets (OntoNotes, PreCo, and Winogrande). Specifically, we distinguish between and break down model performance into categories corresponding to several types of coreference, including coreferring generic mentions, compound modifiers, and copula predicates, among others. This break down helps us investigate how state-of-the-art models might vary in their ability to generalize across different coreference types. In our experiments, for example, models trained on OntoNotes perform poorly on generic mentions and copula predicates in PreCo. Our findings help calibrate expectations of current coreference resolution models; and, future work can explicitly account for those types of coreference that are empirically associated with poor generalization when developing models.
• Abstract（参考訳）: 参照分解モデルはしばしば複数のデータセットで評価される。 しかしデータセットは、コーパスの選択やアノテーションガイドラインなどの要因により、データセットにおけるコリファレンスの理論的概念がどのように運用されているかという、コリファレンスの実現方法によって異なります。 我々は,現在のコア参照解決モデルの誤差が,データセット間での運用上の相違(OntoNotes,PreCo,Winogrande)にどの程度関連しているかを検討する。 具体的には,コレファレンスや複合修飾子,コプラ述語など,複数のタイプのコレファレンスに対応するカテゴリにモデル性能を区別し,分類する。 このブレークダウンは、さまざまなコリファレンスタイプを一般化する能力において、最先端のモデルがどのように変化するかを調べるのに役立ちます。 例えば、実験では、OntoNotesでトレーニングされたモデルでは、PreCoの一般的な言及やコプラ述語が不十分です。 我々の研究は、現在のコア参照解決モデルの予測を校正するのに役立ち、将来の研究は、モデルを開発する際の一般化の低さと経験的に結びついているようなコア参照のタイプを明示的に説明できる。

関連論文リスト

• Learning to Select Prototypical Parts for Interpretable Sequential Data Modeling [7.376829794171344]
  本稿では,原型概念の線形結合を用いた自己説明選択モデル(SESM)を提案する。 より良い解釈可能性を得るために,多様性,安定性,局所性など,複数の制約をトレーニング対象として設計する。
  論文  参考訳（メタデータ） (2022-12-07T01:42:47Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating Spurious Correlations in Entity Typing [29.820473012776283]
  既存のエンティティ型付けモデルは、素早い相関の問題に直面している。 既存のモデルバイアスには、参照コンテキストバイアス、語彙オーバーラップバイアス、名前付きエンティティバイアス、代名詞バイアス、依存性バイアス、一般化バイアスの6種類がある。 オリジナルのトレーニングセットをバイアスなしのトレーニングセットで強化することで、モデルは文を完全に理解せざるを得なくなる。
  論文  参考訳（メタデータ） (2022-05-25T10:34:22Z)
• IMACS: Image Model Attribution Comparison Summaries [16.80986701058596]
  我々は,勾配に基づくモデル属性とアグリゲーションと可視化技術を組み合わせたIMACSを提案する。 IMACSは評価データセットから適切な入力特徴を抽出し、類似性に基づいてクラスタ化し、類似した入力特徴に対するモデル属性の違いを可視化する。 本稿では,衛星画像上で訓練した2つのモデル間の領域シフトによる行動差を明らかにする方法を示す。
  論文  参考訳（メタデータ） (2022-01-26T21:35:14Z)
• On Generalization in Coreference Resolution [66.05112218880907]
  モデルの市販性能を評価するため、異なるドメインを対象とした8つのコア参照解決データセットを統合する。 次に、それらのドメイン、アノテーションガイドライン、メタデータが異なるにもかかわらず、トレーニングのために3つのデータセットを混ぜて、単一のモデルを共同でトレーニングする方法を提案する。 ゼロショット環境では、単一のデータセット転送でトレーニングされたモデルが不十分であるのに対して、共同トレーニングの成果によって全体的なパフォーマンスが改善されていることが分かりました。
  論文  参考訳（メタデータ） (2021-09-20T16:33:22Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。