論文の概要: COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming

• arxiv url: http://arxiv.org/abs/2405.07623v2
• Date: Fri, 06 Dec 2024 09:04:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:53:56.927307
• Title: COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming
• Title（参考訳）: COBiasとDebias:非線形整数プログラミングによる言語モデルのペアワイズ精度バイアスの最小化
• Authors: Ruixi Lin, Yang You,
• Abstract要約: コンオッディティバイアス(COBias)として再認識することで、クラスごとの予測精度の不均衡に取り組む。 我々は,COBiasの低減と全体的な精度向上に向け,クラスごとのICLを補正するためのデバイアスプログラミング(DNIP)を提案する。 DNIPは従来のICLアプローチよりも大きなCOBias(27%)と精度改善(+12%)を同時に達成する。
• 参考スコア（独自算出の注目度）: 12.287692969438169
• License:
• Abstract: When performing classification tasks with language models, would you prefer having only one highly accurate class or having every class deliver reliable performance? Obviously, a more balanced accuracy among classes better reflects the expectations of the majority of users. Especially for large language models (LLMs), the fact that they achieve a fair overall accuracy by in-context learning (ICL) obscures a large difference in individual class accuracies. In this work, we uncover and tackle language models' imbalance in per-class prediction accuracy by reconceptualizing it as the Contextual Oddity Bias (COBias), and we are the first to engage nonlinear integer programming (NIP) to debias it. Briefly, the proposed COBias metric measures accuracy differences among class pairs, with which we reveal the large per-class accuracy differences exhibited in LLMs of varied scales and families. Then we propose Debiasing as Nonlinear Integer Programming (DNIP) to correct ICL per-class probabilities towards lower COBias and higher overall accuracy. Our optimization objective is directly based on the evaluation scores by COBias and accuracy metrics, which is non-differentiable and solved by the simulated annealing metaheuristic. Evaluations on three LLMs across seven NLP classification tasks show that DNIP simultaneously achieves significant COBias reduction (-27%) and accuracy improvement (+12%) over the conventional ICL approach, suggesting that modeling pairwise class accuracy differences is a direction in pushing forward more accurate, more reliable LLM predictions.
• Abstract（参考訳）: 言語モデルで分類タスクを実行する場合、高度に正確なクラスが1つしかないか、あるいはすべてのクラスが信頼できるパフォーマンスを提供するのが望ましいでしょうか? 明らかに、クラス間のよりバランスの取れた精度は、大多数のユーザの期待を反映している。 特に,大規模言語モデル (LLM) では,テキスト内学習 (ICL) による全体的な精度が良好であるという事実は,個々のクラスの精度の大きな違いを曖昧にしている。 本研究では,言語モデルによるクラスごとの予測精度の不均衡を,文脈オダニティバイアス (COBias) として再認識することで発見し,対処する。 簡単に言うと、COBias測定はクラスペア間の精度差を測定し、様々なスケールや家族のLLMで示されるクラスごとの精度差を大きく示す。 次に, 非線形整数計画法(DNIP)としてDebiasingを提案する。 最適化の目的はCOBiasと精度の指標による評価スコアに基づいており、これは非微分可能であり、模擬アニールメタヒューリスティクスによって解決される。 7つのNLP分類タスクにおける3つのLLMの評価は、DNIPが従来のICLアプローチよりもCOBiasの大幅な削減(27%)と精度改善(+12%)を同時に達成していることを示している。

関連論文リスト

• Let the Fuzzy Rule Speak: Enhancing In-context Learning Debiasing with Interpretability [12.287692969438169]
  大規模言語モデル(LLM)は、テキスト分類タスクにおいて、文脈内学習(ICL)を用いたバランスの取れたクラス精度に苦慮することが多い。 本稿では、クラス精度の不均衡問題を深く掘り下げ、あるクラスが不均等に高いICL確率を常に受けているため、それが生じることを確かめる。 本稿では,サンプルレベルのクラス確率補正手法であるFuRudを紹介する。
  論文  参考訳（メタデータ） (2024-12-26T01:56:42Z)
• Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
  クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。 我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。 極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
  論文  参考訳（メタデータ） (2024-08-30T10:49:33Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Online Continual Learning via Logit Adjusted Softmax [24.327176079085703]
  訓練中のクラス間の不均衡は、忘れる主な原因として特定されている。 トレーニング中のモデルロジットの簡単な調整は、事前クラスバイアスに効果的に抵抗することができる。 提案手法であるLogit Adjusted Softmaxは,クラス増分だけでなく,現実的な一般設定においても,クラス間不均衡の影響を軽減することができる。
  論文  参考訳（メタデータ） (2023-11-11T03:03:33Z)
• Fine-tune Language Models to Approximate Unbiased In-context Learning [8.609157988755896]
  RICL(Reweighted In-context Learning)と呼ばれる再重み付きアルゴリズムを導入する。 このアルゴリズムは、各入力出力サンプルの最適な重みを決定するために、バイアスのない検証セットを使用して言語モデルを微調整する。 また、LARICLと呼ばれる線形最適重み近似アルゴリズムである、低コスト再重み付きアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2023-10-05T06:16:01Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Oracle Inequalities for Model Selection in Offline Reinforcement Learning [105.74139523696284]
  本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。 対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。 そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2022-11-03T17:32:34Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。