論文の概要: An Experimental Study of The Effects of Position Bias on Emotion CauseExtraction

• arxiv url: http://arxiv.org/abs/2007.15066v1
• Date: Thu, 16 Jul 2020 08:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 23:06:20.786590
• Title: An Experimental Study of The Effects of Position Bias on Emotion CauseExtraction
• Title（参考訳）: 感情誘発運動に及ぼす位置バイアスの影響に関する実験的研究
• Authors: Jiayuan Ding, Mayank Kejriwal
• Abstract要約: 本研究では,感情原因抽出に対する単純なランダム選択手法が,ベースラインと同じような性能を実現することを示す。 感情的原因位置の不均衡がベンチマークに存在し、ほとんどの原因節が中心的感情節の直前にある。 ECEにおけるこれらの深層学習モデルの精度を高くする要因となったのは,このベンチマークの生まれつきのバイアスである,と結論付けている。
• 参考スコア（独自算出の注目度）: 8.43954669406248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion Cause Extraction (ECE) aims to identify emotion causes from a document after annotating the emotion keywords. Some baselines have been proposed to address this problem, such as rule-based, commonsense based and machine learning methods. We show, however, that a simple random selection approach toward ECE that does not require observing the text achieves similar performance compared to the baselines. We utilized only position information relative to the emotion cause to accomplish this goal. Since position information alone without observing the text resulted in higher F-measure, we therefore uncovered a bias in the ECE single genre Sina-news benchmark. Further analysis showed that an imbalance of emotional cause location exists in the benchmark, with a majority of cause clauses immediately preceding the central emotion clause. We examine the bias from a linguistic perspective, and show that high accuracy rate of current state-of-art deep learning models that utilize location information is only evident in datasets that contain such position biases. The accuracy drastically reduced when a dataset with balanced location distribution is introduced. We therefore conclude that it is the innate bias in this benchmark that caused high accuracy rate of these deep learning models in ECE. We hope that the case study in this paper presents both a cautionary lesson, as well as a template for further studies, in interpreting the superior fit of deep learning models without checking for bias.
• Abstract（参考訳）: 感情原因抽出(ECE)は、感情キーワードを注釈付けした後、文書から感情の原因を特定することを目的としている。 ルールベース、コモンセンスベース、機械学習など、この問題に対処するためのベースラインが提案されている。 しかし,テキストを観察する必要のないECEに対する単純なランダム選択手法が,ベースラインと同じような性能を実現することを示す。 この目標を達成するために,感情要因に対する位置情報のみを利用した。 位置情報はテキストを観察せずに単独でF値が高くなるため,ECEのシングルジャンルであるSina-newsベンチマークに偏りがみられた。 さらに分析したところ、感情的原因位置の不均衡がベンチマークに存在し、大半が中心感情節の直前にあることがわかった。 言語的観点からバイアスを検証し、位置情報を利用した最先端ディープラーニングモデルの高精度化が、そのような位置バイアスを含むデータセットでのみ明らかであることを示す。 バランスの取れた位置分布を持つデータセットを導入すると、精度が大幅に低下する。 したがって,本ベンチマークでは,eceにおけるディープラーニングモデルの高精度化が生起バイアスであると結論づける。 本論文のケーススタディは,バイアスを問うことなく,深層学習モデルの優れた適合性を解釈する上で,注意深い授業とさらなる研究のためのテンプレートの両立を期待する。

関連論文リスト

• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
  本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。 これらの要件について,コサインに基づくスコアを文献から分析する。 これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
  論文  参考訳（メタデータ） (2024-01-27T20:31:10Z)
• Current Topological and Machine Learning Applications for Bias Detection in Text [4.799066966918178]
  本研究はRedditBiasデータベースを用いてテキストバイアスの分析を行う。 BERTおよびRoBERTaの変種を含む4つの変圧器モデルについて検討した。 発見によるとBERT、特にミニBERTはバイアス分類に優れており、多言語モデルは遅延している。
  論文  参考訳（メタデータ） (2023-11-22T16:12:42Z)
• Dissecting Causal Biases [0.0]
  本稿では,トレーニングデータの生成方法や収集方法に起因したバイアスのクラスに焦点を当てる。 バイアスの4つの源、すなわち、境界、選択、測定、相互作用が考慮されている。
  論文  参考訳（メタデータ） (2023-10-20T09:12:10Z)
• Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention [72.12974259966592]
  トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。 Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-09-17T15:58:27Z)
• Debiasing Stance Detection Models with Counterfactual Reasoning and Adversarial Bias Learning [15.68462203989933]
  スタンス検出モデルは、ショートカットとしてテキスト部分のデータセットバイアスに依存する傾向がある。 より正確にバイアスをモデル化するための逆バイアス学習モジュールを提案する。
  論文  参考訳（メタデータ） (2022-12-20T16:20:56Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Understanding and Mitigating Annotation Bias in Facial Expression Recognition [3.325054486984015]
  現存する多くの著作は、人為的なアノテーションは金本位制であり、偏見のないものと見なすことができると仮定している。 顔の表情認識に焦点をあて、実験室で制御されたデータセットと現場のデータセットのラベルバイアスを比較する。 本稿では,顔動作単位(AU)を活用し,三重項損失を対象関数に組み込むAU校正顔表情認識フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-19T05:28:07Z)
• Position Bias Mitigation: A Knowledge-Aware Graph Model for Emotion Cause Extraction [24.288475819004034]
  広く使われているCEデータセットは、注釈付き原因節の大多数が関連する感情節の直前にあるか、あるいは感情節自体である、というバイアスを呈している。 ECEの既存のモデルは、そのような相対的な位置情報を探索し、データセットバイアスに悩まされる傾向がある。 本稿では,相対的な位置情報がもはや原因節の指示的特徴ではない敵例を生成するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-07T11:14:58Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets [64.76453161039973]
  REVISE(Revealing VIsual biaSEs)は、視覚的データセットの調査を支援するツールである。 1)オブジェクトベース,(2)個人ベース,(3)地理ベースという3つの次元に沿った潜在的なバイアスを呈示する。
  論文  参考訳（メタデータ） (2020-04-16T23:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。