論文の概要: Regularizing Models via Pointwise Mutual Information for Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2104.07249v1
• Date: Thu, 15 Apr 2021 05:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 03:49:07.874757
• Title: Regularizing Models via Pointwise Mutual Information for Named Entity Recognition
• Title（参考訳）: 名前付きエンティティ認識のためのポイントワイズ相互情報による正規化モデル
• Authors: Minbyul Jeong and Jaewoo Kang
• Abstract要約: ドメイン内での性能を向上しつつ、一般化能力を高めるために、PMI(Pointwise Mutual Information)を提案する。 提案手法により,ベンチマークデータセットの単語とラベルの相関度を高く抑えることができる。 長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。
• 参考スコア（独自算出の注目度）: 17.767466724342064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Named Entity Recognition (NER), pre-trained language models have been overestimated by focusing on dataset biases to solve current benchmark datasets. However, these biases hinder generalizability which is necessary to address real-world situations such as weak name regularity and plenty of unseen mentions. To alleviate the use of dataset biases and make the models fully exploit data, we propose a debiasing method that our bias-only model can be replaced with a Pointwise Mutual Information (PMI) to enhance generalization ability while outperforming an in-domain performance. Our approach enables to debias highly correlated word and labels in the benchmark datasets; reflect informative statistics via subword frequency; alleviates a class imbalance between positive and negative examples. For long-named and complex-structure entities, our method can predict these entities through debiasing on conjunction or special characters. Extensive experiments on both general and biomedical domains demonstrate the effectiveness and generalization capabilities of the PMI.
• Abstract（参考訳）: Named Entity Recognition (NER)では、既存のベンチマークデータセットを解決するためにデータセットバイアスに焦点を当てることで、事前訓練された言語モデルが過大評価されている。 しかし、これらのバイアスは、弱い名前の規則性や多くの目に見えない言及のような実世界の状況に対処するために必要となる一般化を妨げている。 データセットバイアスの使用を緩和し、モデルが完全に活用されるようにするために、バイアスのみモデルをポイントワイズ相互情報(pmi)に置き換え、ドメイン内性能を上回って一般化能力を高めるデバイアス手法を提案する。 提案手法により,ベンチマークデータセットの単語とラベルの相関性が高く,サブワード頻度による情報統計を反映し,正例と負例のクラス不均衡を緩和する。 長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。 一般領域および生物医学領域の広範囲にわたる実験は、PMIの有効性と一般化能力を示す。

関連論文リスト

• Fairness without Sensitive Attributes via Knowledge Sharing [13.141672574114597]
  本稿では,信頼度に基づく階層型分類手法であるReckonerを提案する。 実験の結果、ReckonerはCompASデータセットとNew Adultデータセットにおいて、最先端のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T06:16:14Z)
• Learning Decomposable and Debiased Representations via Attribute-Centric Information Bottlenecks [21.813755593742858]
  データセット内のターゲットラベルと突発的に相関するバイアス属性は、分類の不適切なショートカットを学習するニューラルネットワークに問題を引き起こす可能性がある。 本稿では,属性の合成表現を学習するための注目に基づく情報ボトルネックを導入し,新たなデバイアス化フレームワークであるデバイアスンググローバルワークスペースを提案する。 偏りのあるデータセットに対する包括的評価と定量的および定性的な分析を行い、アプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-21T05:33:49Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• CausalAPM: Generalizable Literal Disentanglement for NLU Debiasing [47.129713744669075]
  我々は因果推論の観点からデータセットバイアスの原因を分析する。 本稿では,特徴の粒度からバイアス問題を改善するために,一般化可能なリテラル分離フレームワークCausalAPMを提案する。
  論文  参考訳（メタデータ） (2023-05-04T14:22:26Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Improving QA Generalization by Concurrent Modeling of Multiple Biases [61.597362592536896]
  既存のNLPデータセットには、モデルが容易に活用できる様々なバイアスが含まれており、対応する評価セット上で高いパフォーマンスを達成することができる。 本稿では、トレーニングデータにおける複数のバイアスの同時モデリングにより、ドメイン内およびドメイン外両方のデータセットのパフォーマンスを改善するための一般的なフレームワークを提案する。 我々は,様々な領域の学習データと異なる強度の複数のバイアスを持つ抽出的質問応答の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2020-10-07T11:18:49Z)
• Learning Unbiased Representations via Mutual Information Backpropagation [36.383338079229695]
  特に、モデルによって学習された場合、データのいくつかの属性(バイアス)が一般化特性を著しく損なう可能性がある場合に直面します。 本稿では,学習した表現とデータ属性の相互情報を同時に推定し,最小化する,新しいエンドツーエンド最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-03-13T18:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。