論文の概要: How Robust are LLMs to In-Context Majority Label Bias?

• arxiv url: http://arxiv.org/abs/2312.16549v1
• Date: Wed, 27 Dec 2023 12:20:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 19:04:15.048689
• Title: How Robust are LLMs to In-Context Majority Label Bias?
• Title（参考訳）: LLMはいかに、コンテキスト内のメジャーなラベルバイアスにロバストか?
• Authors: Karan Gupta, Sumegh Roychowdhury, Siva Rajesh Kasa, Santhosh Kumar Kasa, Anish Bhanushali, Nikhil Pattisapu, Prasanna Srinivasa Murthy
• Abstract要約: 本研究では,Large Language Models (LLMs) における文脈内学習のロバスト性について検討する。 また,モデルサイズの影響と,モデルの堅牢性に寄与する指導プロンプトの豊かさを強調した。
• 参考スコア（独自算出の注目度）: 3.3577727874594654
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the In-Context Learning (ICL) setup, various forms of label biases can manifest. One such manifestation is majority label bias, which arises when the distribution of labeled examples in the in-context samples is skewed towards one or more specific classes making Large Language Models (LLMs) more prone to predict those labels. Such discrepancies can arise from various factors, including logistical constraints, inherent biases in data collection methods, limited access to diverse data sources, etc. which are unavoidable in a real-world industry setup. In this work, we study the robustness of in-context learning in LLMs to shifts that occur due to majority label bias within the purview of text classification tasks. Prior works have shown that in-context learning with LLMs is susceptible to such biases. In our study, we go one level deeper and show that the robustness boundary varies widely for different models and tasks, with certain LLMs being highly robust (~90%) to majority label bias. Additionally, our findings also highlight the impact of model size and the richness of instructional prompts contributing towards model robustness. We restrict our study to only publicly available open-source models to ensure transparency and reproducibility.
• Abstract（参考訳）: In-Context Learning (ICL) 設定では、ラベルバイアスの様々な形態が現れる。 このようなマニフェストのひとつがマジョリティラベルバイアスであり、コンテキスト内サンプルのラベル付きサンプルの分布が、LLM(Large Language Models)がそれらのラベルを予測しやすくする1つ以上の特定のクラスに歪められたときに発生する。 このような不一致は、実業界では避けられない、論理的制約、データ収集方法固有のバイアス、多様なデータソースへのアクセス制限など、さまざまな要因から生じる可能性がある。 本研究は,テキスト分類タスクのパースペクティブ内において,過半数のラベルバイアスに起因する変化に対するLLMにおける文脈内学習の堅牢性について検討する。 以前の研究は、llmによる文脈内学習はそのようなバイアスに影響を受けやすいことを示している。 本研究では,ロバスト性の境界がモデルやタスクによって大きく異なること,llmがラベルバイアスの多数派に対して高いロバスト(約90%)であること,などを示す。 さらに,モデルサイズの影響と,モデルのロバスト性に寄与する指導プロンプトの豊かさについても考察した。 私たちは、透明性と再現性を確保するために、公開可能なオープンソースモデルのみに研究を制限しています。

関連論文リスト

• Bias Similarity Across Large Language Models [32.0365189539138]
  機械学習モデルのバイアスは慢性的な問題である。 オープンソースとクローズドな10のLarge Language Modelを包括的に見ていきます。 モデル間のバイアスがどのように現れるかを理解するために、機能的類似度を測定します。
  論文  参考訳（メタデータ） (2024-10-15T19:21:14Z)
• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification [5.8229466650067065]
  大規模言語モデル(LLM)が、政治的にチャージされたスタンスをより正確に分類する傾向を示すかを検討する。 本研究は,様々な政治的指向性姿勢分類課題において,LSMの性能に統計的に有意な差が認められた。 LLMは、ステートメントが指示されるターゲットにあいまいさがある場合、位置分類の精度が劣る。
  論文  参考訳（メタデータ） (2024-07-25T01:11:38Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications [23.963586791210414]
  大規模言語モデル (LLM) は, 学習データから社会的偏見を継承する傾向にあり, 分類作業における公平性に大きな影響を及ぼすことを示した。 この観察は、社会的バイアスがLSM自体に固有のものであり、事前学習されたコーパスから継承されていることを強調している。
  論文  参考訳（メタデータ） (2023-10-23T06:31:28Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Creating Training Sets via Weak Indirect Supervision [66.77795318313372]
  Weak Supervision (WS)フレームワークは、複数の潜在的にノイズの多い監督ソースからトレーニングラベルを合成する。 Weak Indirect Supervision (WIS) は、トレーニングラベルの自動合成のための新しい研究課題である。 我々は,ユーザが提供するラベル関係を利用して間接的な監督源をモデル化し活用する確率論的モデリング手法PLRMを開発した。
  論文  参考訳（メタデータ） (2021-10-07T14:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。