Fugu-MT 論文翻訳(概要): Technical Report: Impact of Position Bias on Language Models in Token Classification

論文の概要: Technical Report: Impact of Position Bias on Language Models in Token Classification

arxiv url: http://arxiv.org/abs/2304.13567v4
Date: Thu, 11 Apr 2024 08:10:11 GMT
ステータス: 処理完了
システム内更新日: 2024-04-12 19:37:39.758229
Title: Technical Report: Impact of Position Bias on Language Models in Token Classification
Title（参考訳）: 用語分類における位置バイアスが言語モデルに及ぼす影響
Authors: Mehdi Ben Amor, Michael Granitzer, Jelena Mitrović,
Abstract要約: Named Entity Recognition (NER) やPart-of-Speech (POS) タグ付けといった下流タスクは、データ不均衡の問題に悩まされていることが知られている。本稿では,エンコーダモデルの問題点,特にトークン分類タスクにおける正の例の位置バイアスについて考察する。 LMは,3%から9%の低下率で,このバイアスに悩まされる可能性が示唆された。
参考スコア（独自算出の注目度）: 0.6372911857214884
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language Models (LMs) have shown state-of-the-art performance in Natural Language Processing (NLP) tasks. Downstream tasks such as Named Entity Recognition (NER) or Part-of-Speech (POS) tagging are known to suffer from data imbalance issues, particularly regarding the ratio of positive to negative examples and class disparities. This paper investigates an often-overlooked issue of encoder models, specifically the position bias of positive examples in token classification tasks. For completeness, we also include decoders in the evaluation. We evaluate the impact of position bias using different position embedding techniques, focusing on BERT with Absolute Position Embedding (APE), Relative Position Embedding (RPE), and Rotary Position Embedding (RoPE). Therefore, we conduct an in-depth evaluation of the impact of position bias on the performance of LMs when fine-tuned on token classification benchmarks. Our study includes CoNLL03 and OntoNote5.0 for NER, English Tree Bank UD\_en, and TweeBank for POS tagging. We propose an evaluation approach to investigate position bias in transformer models. We show that LMs can suffer from this bias with an average drop ranging from 3\% to 9\% in their performance. To mitigate this effect, we propose two methods: Random Position Shifting and Context Perturbation, that we apply on batches during the training process. The results show an improvement of $\approx$ 2\% in the performance of the model on CoNLL03, UD\_en, and TweeBank.
Abstract（参考訳）: 言語モデル(LM)は、自然言語処理(NLP)タスクにおける最先端のパフォーマンスを示している。 Named Entity Recognition (NER) やPart-of-Speech (POS) タグ付けのような下流タスクは、データ不均衡の問題に悩まされていることが知られている。本稿では,エンコーダモデルの問題点,特にトークン分類タスクにおける正の例の位置バイアスについて考察する。完全性については、評価にデコーダも含んでいます。位置バイアスの影響を異なる位置埋め込み技術を用いて評価し、絶対位置埋め込み(APE)、相対位置埋め込み(RPE)、回転位置埋め込み(RoPE)によるBERTに着目した。そこで我々は,トークン分類ベンチマークの微調整時に,位置バイアスがLMの性能に与える影響を詳細に評価する。我々の研究には、NER用のCoNLL03とOntoNote5.0、POSタグ付けのためのBritish Tree Bank UD\_en、TweeBankが含まれる。変圧器モデルにおける位置バイアスを解析するための評価手法を提案する。平均降水量は, 3 %から 9 % の範囲で, このバイアスに悩まされる可能性が示唆された。この効果を軽減するために,ランダム位置シフトとコンテキスト摂動の2つの手法を提案する。その結果,CoNLL03,UD\_en,TweeBankのモデルの性能は,$\approx$2\%向上した。

関連論文リスト

Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文参考訳（メタデータ） (2024-07-01T09:06:57Z)
On the Noise Robustness of In-Context Learning for Text Generation [41.59602454113563]
本研究では、テキスト生成タスクにおいて、ノイズの多いアノテーションがテキスト内学習の性能を著しく損なうことを示す。この問題を回避するために,LPR(Local Perplexity Ranking)と呼ばれるシンプルで効果的なアプローチを提案する。 LPRは「騒々しい」候補者を、より清潔である可能性が高い隣人に置き換える。
論文参考訳（メタデータ） (2024-05-27T15:22:58Z)
InfFeed: Influence Functions as a Feedback to Improve the Performance of Subjective Tasks [10.124267937114611]
本稿では、インフルエンサー関数を用いて、対象インスタンスのインフルエンサーインスタンスを計算するInfFeedを紹介する。 InfFeedは、ヘイトスピーチの分類で最大4%のマクロF1スコアのマージンで最先端のベースラインを上回っている。また, ネガティブな影響を持つ拡張セット内のアノテートされた銀点のみを手動で再注釈することで, モデルの性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2024-02-22T16:59:09Z)
The Curious Case of Absolute Position Embeddings [65.13827063579728]
トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
論文参考訳（メタデータ） (2022-10-23T00:00:04Z)
A Novel Dataset for Evaluating and Alleviating Domain Shift for Human Detection in Agricultural Fields [59.035813796601055]
トレーニングセットの分布外のデータに展開した場合、ドメインシフトが、よく知られたオブジェクト検出データセット上で訓練された人間の検出モデルに与える影響を評価する。我々は、ロボットティプラットフォームを用いて、農業ロボット応用の文脈で収集されたOpenDR Humans in Fieldデータセットを紹介した。
論文参考訳（メタデータ） (2022-09-27T07:04:28Z)
Binary Classification with Positive Labeling Sources [71.37692084951355]
WEAPOは、負のラベル付け源を使わずにトレーニングラベルを作成するための、シンプルで競争力のあるWS手法である。 We show WEAPO achieve the highest averaged performance on 10 benchmark datasets。
論文参考訳（メタデータ） (2022-08-02T19:32:08Z)
Meta-Mining Discriminative Samples for Kinship Verification [95.26341773545528]
kinship検証データベースは、アンバランスなデータで生まれます。本稿では, 識別的サンプルメタマイニング(DSMM)手法を提案する。 KinFaceW-I, KinFaceW-II, TSKinFace, Cornell Kinshipデータセットを用いた実験結果から, 提案手法の有効性が示された。
論文参考訳（メタデータ） (2021-03-28T11:47:07Z)
Mitigating the Position Bias of Transformer Models in Passage Re-Ranking [12.526786110360622]
教師付き機械学習モデルとその評価は、基礎となるデータセットの品質に大きく依存する。文中の正しい回答の位置の偏りを,文節の再ランキングに用いる2つの一般的な質問応答データセットで観察する。位置バイアスを緩和することにより、Transformerベースのリグレードモデルはバイアス付きおよび偏りのあるデータセットに対して等しく有効であることを示す。
論文参考訳（メタデータ） (2021-01-18T10:38:03Z)
LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文参考訳（メタデータ） (2020-10-06T16:42:51Z)
Meta-Learning for One-Class Classification with Few Examples using Order-Equivariant Network [1.08890978642722]
本稿では,テスト時に数発のワンクラス分類(OCC)を行うフレームワークを提案する。我々は,各タスクに対して,少数の肯定的な例しか持たない,一級分類の客観的タスクの集合があるとみなす。そこで我々は'meta'二項分類器を学習するために,オーダー等価ネットワークを用いたアプローチを提案する。
論文参考訳（メタデータ） (2020-07-08T22:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。