論文の概要: Explore Spurious Correlations at the Concept Level in Language Models for Text Classification

• arxiv url: http://arxiv.org/abs/2311.08648v1
• Date: Wed, 15 Nov 2023 01:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 17:41:39.400300
• Title: Explore Spurious Correlations at the Concept Level in Language Models for Text Classification
• Title（参考訳）: テキスト分類のための言語モデルにおける概念レベルでのスプリアス相関の検討
• Authors: Yuhang Zhou, Paiheng Xu, Xiaoyu Liu, Bang An, Wei Ai, Furong Huang
• Abstract要約: 言語モデル(LM)は、微調整と文脈内学習(ICL)の両方で様々なNLPタスクにおいて大きな成果を上げている。 その卓越した性能にもかかわらず、トレーニングデータ(またはICLの例)におけるラベルの不均衡による急激な相関が問題を引き起こすことを示す証拠がある。 本稿では,まずLLMを用いて各テキストの概念をラベル付けし,テストデータ上での微調整やICLのためのモデルの概念バイアスを測定する。
• 参考スコア（独自算出の注目度）: 30.55156823180548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) have gained great achievement in various NLP tasks for both fine-tuning and in-context learning (ICL) methods. Despite its outstanding performance, evidence shows that spurious correlations caused by imbalanced label distributions in training data (or exemplars in ICL) lead to robustness issues. However, previous studies mostly focus on word- and phrase-level features and fail to tackle it from the concept level, partly due to the lack of concept labels and subtle and diverse expressions of concepts in text. In this paper, we first use the LLM to label the concept for each text and then measure the concept bias of models for fine-tuning or ICL on the test data. Second, we propose a data rebalancing method to mitigate the spurious correlations by adding the LLM-generated counterfactual data to make a balanced label distribution for each concept. We verify the effectiveness of our mitigation method and show its superiority over the token removal method. Overall, our results show that there exist label distribution biases in concepts across multiple text classification datasets, and LMs will utilize these shortcuts to make predictions in both fine-tuning and ICL methods.
• Abstract（参考訳）: 言語モデル(LM)は、微調整と文脈内学習(ICL)の両方で様々なNLPタスクにおいて大きな成果を上げている。 その優れた性能にもかかわらず、トレーニングデータ(またはiclのexemplars)におけるラベル分布の不均衡に起因するスプリアス相関が堅牢性の問題に繋がる証拠がある。 しかし、以前の研究は、主に単語や句レベルの特徴に焦点をあて、概念レベルでは取り組まなかったが、概念ラベルの欠如や、テキストにおける概念の微妙で多様な表現が原因である。 本稿では,まずLLMを用いて各テキストの概念をラベル付けし,テストデータ上での微調整やICLのためのモデルの概念バイアスを測定する。 第2に,llm生成の反事実データを追加して各概念のバランスの取れたラベル分布を構築することにより,スプリアス相関を緩和するデータリバランス手法を提案する。 本手法の有効性を検証し,トークン除去法よりも優れていることを示す。 その結果,複数のテキスト分類データセットにラベル分布バイアスが存在することが明らかとなり,LMはこれらのショートカットを用いて微調整法とICL法の両方で予測を行う。

関連論文リスト

• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
  大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。 近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。 本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T05:02:34Z)
• Larger language models do in-context learning differently [93.90674531127559]
  言語モデルにおけるインコンテキスト学習(ICL)は、セマンティックな事前とインプット・ラベルのマッピングの影響を受けます。 ラベルをフリップしたICLと意味的無関係なラベルを持つICLの2つのセットアップについて検討した。
  論文  参考訳（メタデータ） (2023-03-07T12:24:17Z)
• ConNER: Consistency Training for Cross-lingual Named Entity Recognition [96.84391089120847]
  言語間の名前付きエンティティ認識は、対象言語のデータの不足に悩まされる。 言語間NERのための新しい一貫性トレーニングフレームワークとしてConNERを提案する。
  論文  参考訳（メタデータ） (2022-11-17T07:57:54Z)
• Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation [44.319739489968164]
  ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。 本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。 本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
  論文  参考訳（メタデータ） (2022-05-25T09:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。