論文の概要: Leveraging Biases in Large Language Models: "bias-kNN'' for Effective Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2401.09783v1
• Date: Thu, 18 Jan 2024 08:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 17:33:14.844347
• Title: Leveraging Biases in Large Language Models: "bias-kNN'' for Effective Few-Shot Learning
• Title（参考訳）: 大規模言語モデルにおけるバイアスの活用:"bias-kNN'"による効果的なFew-Shot学習
• Authors: Yong Zhang, Hanzhang Li, Zhitao Li, Ning Cheng, Ming Li, Jing Xiao, Jianzong Wang
• Abstract要約: 本研究では, バイアスkNN'という新しい手法を紹介する。 このアプローチはバイアスのある出力を生かし、それらをkNNの主要な特徴として利用し、金のラベルを補足する。 多様なドメインテキスト分類データセットと異なるGPT-2モデルサイズにまたがる包括的評価は、バイアス-kNN'法の適用性と有効性を示している。
• 参考スコア（独自算出の注目度）: 36.739829839357995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown significant promise in various applications, including zero-shot and few-shot learning. However, their performance can be hampered by inherent biases. Instead of traditionally sought methods that aim to minimize or correct these biases, this study introduces a novel methodology named ``bias-kNN''. This approach capitalizes on the biased outputs, harnessing them as primary features for kNN and supplementing with gold labels. Our comprehensive evaluations, spanning diverse domain text classification datasets and different GPT-2 model sizes, indicate the adaptability and efficacy of the ``bias-kNN'' method. Remarkably, this approach not only outperforms conventional in-context learning in few-shot scenarios but also demonstrates robustness across a spectrum of samples, templates and verbalizers. This study, therefore, presents a unique perspective on harnessing biases, transforming them into assets for enhanced model performance.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ゼロショットや少数ショット学習など、様々なアプリケーションにおいて大きな可能性を示している。 しかし、それらのパフォーマンスは固有のバイアスによって妨げられる。 従来,これらのバイアスを最小限に抑え,修正しようとする手法ではなく,‘bias-kNN’という新しい方法論を導入する。 このアプローチはバイアスのある出力を活かし、kNNの主要な特徴として活用し、金のラベルを補足する。 多様なドメインテキスト分類データセットと異なるGPT-2モデルサイズにまたがる包括的評価は,‘bias-kNN'法の適応性と有効性を示している。 注目すべきは、このアプローチが従来の文脈内学習を数ショットのシナリオで上回るだけでなく、サンプル、テンプレート、言葉遣いのスペクトルにわたって堅牢性を示すことだ。 そこで本研究では, バイアスを利用したモデル性能向上のための資産化について考察した。

関連論文リスト

• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• GUS-Net: Social Bias Classification in Text with Generalizations, Unfairness, and Stereotypes [2.2162879952427343]
  本稿では,バイアス検出の革新的なアプローチであるGAS-Netを紹介する。 GUS-Netは、(G)エナラライゼーション、(U)nfairness、(S)tereotypesの3つの重要な種類のバイアスに焦点を当てている。 本手法は,事前学習したモデルの文脈エンコーディングを組み込むことにより,従来のバイアス検出手法を強化する。
  論文  参考訳（メタデータ） (2024-10-10T21:51:22Z)
• REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning [18.064064773660174]
  本稿では、強化学習を用いて様々なバイアスを微調整せずに処理する脱バイアス法REFINE-LMを紹介する。 LMの単語確率分布の上に簡単なモデルをトレーニングすることにより、バイアス強化学習法により、人間のアノテーションを使わずにモデルの偏りを抑えることができる。 複数のLMを含む多種多様なモデルで行った実験により,本手法は,LMの性能を維持しながら,ステレオタイプバイアスを著しく低減することを示した。
  論文  参考訳（メタデータ） (2024-08-18T14:08:31Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• An Empirical Study on Model-agnostic Debiasing Strategies for Robust Natural Language Inference [37.420864237437804]
  我々は、モデルに依存しないデバイアス戦略に注目し、NLIモデルを複数の敵攻撃に対して堅牢にする方法を探る。 最初のベンチマークでは、様々な逆数データセット上の事前学習を含むニューラルNLIモデルについてベンチマークを行った。 次に、専門家(MoE)アンサンブルの混合法を変更することで、既知のバイアスに対処する。
  論文  参考訳（メタデータ） (2020-10-08T05:40:45Z)
• Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
  NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。 本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-25T15:49:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。