論文の概要: How Robust are LLMs to In-Context Majority Label Bias?
- arxiv url: http://arxiv.org/abs/2312.16549v1
- Date: Wed, 27 Dec 2023 12:20:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 19:04:15.048689
- Title: How Robust are LLMs to In-Context Majority Label Bias?
- Title(参考訳): LLMはいかに、コンテキスト内のメジャーなラベルバイアスにロバストか?
- Authors: Karan Gupta, Sumegh Roychowdhury, Siva Rajesh Kasa, Santhosh Kumar
Kasa, Anish Bhanushali, Nikhil Pattisapu, Prasanna Srinivasa Murthy
- Abstract要約: 本研究では,Large Language Models (LLMs) における文脈内学習のロバスト性について検討する。
また,モデルサイズの影響と,モデルの堅牢性に寄与する指導プロンプトの豊かさを強調した。
- 参考スコア(独自算出の注目度): 3.3577727874594654
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In the In-Context Learning (ICL) setup, various forms of label biases can
manifest. One such manifestation is majority label bias, which arises when the
distribution of labeled examples in the in-context samples is skewed towards
one or more specific classes making Large Language Models (LLMs) more prone to
predict those labels. Such discrepancies can arise from various factors,
including logistical constraints, inherent biases in data collection methods,
limited access to diverse data sources, etc. which are unavoidable in a
real-world industry setup. In this work, we study the robustness of in-context
learning in LLMs to shifts that occur due to majority label bias within the
purview of text classification tasks. Prior works have shown that in-context
learning with LLMs is susceptible to such biases. In our study, we go one level
deeper and show that the robustness boundary varies widely for different models
and tasks, with certain LLMs being highly robust (~90%) to majority label bias.
Additionally, our findings also highlight the impact of model size and the
richness of instructional prompts contributing towards model robustness. We
restrict our study to only publicly available open-source models to ensure
transparency and reproducibility.
- Abstract(参考訳): In-Context Learning (ICL) 設定では、ラベルバイアスの様々な形態が現れる。
このようなマニフェストのひとつがマジョリティラベルバイアスであり、コンテキスト内サンプルのラベル付きサンプルの分布が、LLM(Large Language Models)がそれらのラベルを予測しやすくする1つ以上の特定のクラスに歪められたときに発生する。
このような不一致は、実業界では避けられない、論理的制約、データ収集方法固有のバイアス、多様なデータソースへのアクセス制限など、さまざまな要因から生じる可能性がある。
本研究は,テキスト分類タスクのパースペクティブ内において,過半数のラベルバイアスに起因する変化に対するLLMにおける文脈内学習の堅牢性について検討する。
以前の研究は、llmによる文脈内学習はそのようなバイアスに影響を受けやすいことを示している。
本研究では,ロバスト性の境界がモデルやタスクによって大きく異なること,llmがラベルバイアスの多数派に対して高いロバスト(約90%)であること,などを示す。
さらに,モデルサイズの影響と,モデルのロバスト性に寄与する指導プロンプトの豊かさについても考察した。
私たちは、透明性と再現性を確保するために、公開可能なオープンソースモデルのみに研究を制限しています。
関連論文リスト
- Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware
Classification [7.696798306913988]
フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。
本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。
異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
論文 参考訳(メタデータ) (2024-02-28T17:29:27Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。
我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。
3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
論文 参考訳(メタデータ) (2023-11-29T23:03:04Z) - Investigating the Fairness of Large Language Models for Predictions on
Tabular Data [26.178497037060097]
大規模言語モデル(LLM)は有害な社会的バイアスを示すことが示されている。
LLMはトレーニングデータから社会的偏見を継承する傾向がある。
コンテキスト内の例のラベルフリップは、バイアスを大幅に減少させる。
論文 参考訳(メタデータ) (2023-10-23T06:31:28Z) - Mitigating Label Biases for In-context Learning [28.209613730240633]
インコンテキスト学習(ICL)のための様々な設計設定は、タスクの理解を反映することなく、特定の予測に向けてモデルをバイアスすることができる。
本研究は,テキスト分類におけるICLの3種類のラベルバイアスに対して,バニララベルバイアス,コンテキストラベルバイアス,ドメインラベルバイアスの3種類のタイプを定義した。
論文 参考訳(メタデータ) (2023-05-28T15:37:39Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - From Multi-label Learning to Cross-Domain Transfer: A Model-Agnostic
Approach [1.5076964620370268]
我々は,タスクの伝達可能性は,ソースとターゲットドメイン,モデル間の類似度の測定から生じるという長期の仮定に挑戦するトランスファーラーニングのアプローチを開発する。
基本的には、ソースモデルキャパシティに基づいたタスク依存を作成することができることを示す。
論文 参考訳(メタデータ) (2022-07-24T13:37:25Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - Improving Contrastive Learning on Imbalanced Seed Data via Open-World
Sampling [96.8742582581744]
我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。
MAKは、尾性、近接性、多様性の3つの単純な原則に従う。
我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
論文 参考訳(メタデータ) (2021-11-01T15:09:41Z) - Creating Training Sets via Weak Indirect Supervision [66.77795318313372]
Weak Supervision (WS)フレームワークは、複数の潜在的にノイズの多い監督ソースからトレーニングラベルを合成する。
Weak Indirect Supervision (WIS) は、トレーニングラベルの自動合成のための新しい研究課題である。
我々は,ユーザが提供するラベル関係を利用して間接的な監督源をモデル化し活用する確率論的モデリング手法PLRMを開発した。
論文 参考訳(メタデータ) (2021-10-07T14:09:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。