論文の概要: COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming

• arxiv url: http://arxiv.org/abs/2405.07623v1
• Date: Mon, 13 May 2024 10:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 14:05:08.635838
• Title: COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming
• Title（参考訳）: COBiasとDebias:非線形整数プログラミングによる言語モデルのペアワイズ精度バイアスの最小化
• Authors: Ruixi Lin, Yang You,
• Abstract要約: 文脈バイアス(COBias)として再認識することで、クラスごとの予測精度における言語モデルの不均衡に取り組む。 我々は非線形整数計画法(NIP)に初めて取り組んだ。 DNIPは従来のICL法に比べてCOBiasの削減と精度の向上を同時に達成する。
• 参考スコア（独自算出の注目度）: 12.287692969438169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For language model classification, would you prefer having only one workable class or having every class working? The latter makes more practical uses. Especially for large language models (LLMs), the fact that they achieve a fair overall accuracy by in-context learning (ICL) obscures a large difference in individual class accuracies. In this work, we uncover and tackle language models' imbalance in per-class prediction accuracy by reconceptualizing it as the Contextual Oddity Bias (COBias), and we are the first to engage nonlinear integer programming (NIP) to debias it. Briefly, COBias refers to the difference in accuracy by a class A compared to its ''odd'' class, which holds the majority wrong predictions of class A. With the COBias metric, we reveal that LLMs of varied scales and families exhibit large per-class accuracy differences. Then we propose Debiasing as Nonlinear Integer Programming (DNIP) to correct ICL per-class probabilities for lower bias and higher overall accuracy. Our optimization objective is directly based on the evaluation scores by COBias and accuracy metrics, solved by simulated annealing. Evaluations on three LLMs across seven NLP classification tasks show that DNIP simultaneously achieves significant COBias reduction ($-27\%$) and accuracy improvement ($+12\%$) over the conventional ICL approach, suggesting that modeling pairwise class accuracy differences is a direction in pushing forward more accurate, more reliable LLM predictions.
• Abstract（参考訳）: 言語モデルの分類については、1つの実行可能なクラスしか持たないか、あるいはすべてのクラスが機能するのか? 後者の方が実用性が高い。 特に,大規模言語モデル (LLM) では,テキスト内学習 (ICL) による全体的な精度が良好であるという事実は,個々のクラスの精度の大きな違いを曖昧にしている。 本研究では,言語モデルによるクラスごとの予測精度の不均衡を,文脈オダニティバイアス (COBias) として再認識することで発見し,対処する。 簡単に言えば、COBiasはクラスAの誤予測を多く持つ'odd'クラスと比較して、クラスAによる精度の差を指す。 次に、非線形整数計画法(DNIP)としてデバイアス化を提案し、より低いバイアスとより高い全体的な精度でクラスごとのICLを補正する。 最適化の目的は,COBiasによる評価スコアと,シミュレーションアニーリングにより解いた精度測定値に基づいている。 7つのNLP分類タスクにおける3つのLCMの評価は、DNIPが従来のICLアプローチよりもCOBiasの大幅な削減(-27\%$)と精度の向上(+12\%$)を同時に達成していることを示している。

関連論文リスト

• Let the Fuzzy Rule Speak: Enhancing In-context Learning Debiasing with Interpretability [12.287692969438169]
  大規模言語モデル(LLM)は、テキスト分類タスクにおいて、文脈内学習(ICL)を用いたバランスの取れたクラス精度に苦慮することが多い。 本稿では、クラス精度の不均衡問題を深く掘り下げ、あるクラスが不均等に高いICL確率を常に受けているため、それが生じることを確かめる。 本稿では,サンプルレベルのクラス確率補正手法であるFuRudを紹介する。
  論文  参考訳（メタデータ） (2024-12-26T01:56:42Z)
• Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
  クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。 我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。 極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
  論文  参考訳（メタデータ） (2024-08-30T10:49:33Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Online Continual Learning via Logit Adjusted Softmax [24.327176079085703]
  訓練中のクラス間の不均衡は、忘れる主な原因として特定されている。 トレーニング中のモデルロジットの簡単な調整は、事前クラスバイアスに効果的に抵抗することができる。 提案手法であるLogit Adjusted Softmaxは,クラス増分だけでなく,現実的な一般設定においても,クラス間不均衡の影響を軽減することができる。
  論文  参考訳（メタデータ） (2023-11-11T03:03:33Z)
• Fine-tune Language Models to Approximate Unbiased In-context Learning [8.609157988755896]
  RICL(Reweighted In-context Learning)と呼ばれる再重み付きアルゴリズムを導入する。 このアルゴリズムは、各入力出力サンプルの最適な重みを決定するために、バイアスのない検証セットを使用して言語モデルを微調整する。 また、LARICLと呼ばれる線形最適重み近似アルゴリズムである、低コスト再重み付きアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2023-10-05T06:16:01Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Oracle Inequalities for Model Selection in Offline Reinforcement Learning [105.74139523696284]
  本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。 対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。 そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2022-11-03T17:32:34Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。