論文の概要: Let the Rule Speak: Enhancing In-context Learning Debiasing with Interpretability

• arxiv url: http://arxiv.org/abs/2412.19018v2
• Date: Tue, 14 Jan 2025 01:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:25:42.981161
• Title: Let the Rule Speak: Enhancing In-context Learning Debiasing with Interpretability
• Title（参考訳）: ルールを語る:解釈可能性によるコンテキスト内学習のデバイアスの緩和
• Authors: Ruixi Lin, Yang You,
• Abstract要約: In-context Learningは、多クラステキスト分類において、クラスごとの予測精度が不均衡であることが判明した。 本稿ではファジィルール最適化に基づくデバイアス法であるFuRudを提案する。 FuRudは、ペア級精度バイアス(COBias)を半分以上(56%)削減し、相対的に21%の精度を達成する。
• 参考スコア（独自算出の注目度）: 12.287692969438169
• License:
• Abstract: In-context learning, which allows large language models to perform diverse tasks with a few demonstrations, is found to have imbalanced per-class prediction accuracy on multi-class text classification. Although notable output correction methods have been developed to tackle the issue and simultaneously improve downstream prediction accuracy, they may fail to answer the core interpretability challenges: why and which certain classes need corrections, and more importantly, a tailored correction for per-sample, per-class's probability. To address such interpretability gaps, we first find that the imbalance arises from certain classes consistently receiving high ICL output probabilities, whereas others receiving lower or mixed ranges, so the former is more frequently chosen, resulting in higher accuracy; more crucially, we find that these ranges have significantly varying degrees of influence on the accuracy bias, highlighting the need for precise, interpretable probability corrections by range. Motivated by this, we propose FuRud, a Fuzzy Rule Optimization based Debiasing method, that (1) detects which classes need corrections, and (2) for each correction-needed class, detects its probability ranges and applies asymmetric amplifications or reductions to correct them interpretably. Notably, across seven benchmark datasets, FuRud reduces the pairwise class accuracy bias (COBias) by more than half (56%), while achieving a relative increase of 21% in accuracy, outperforming state-of-the-art debiasing methods. Moreover, FuRud can optimize downstream tasks with as few as 10 optimization examples. Furthermore, FuRud can work for prompt formats that lead to highly skewed predictions. For example, FuRud greatly improves ICL outputs which use letter options, with 44% relative accuracy increase and 54% relative COBias reduction.
• Abstract（参考訳）: In-context Learningは、大規模な言語モデルでいくつかのデモを行い、多様なタスクを実行できるが、マルチクラスのテキスト分類において、クラスごとの予測精度が不均衡であることがわかった。 この問題に対処し、同時に下流予測精度を向上させるために、顕著な出力補正法が開発されているが、なぜどのクラスに修正が必要なのか、そしてより重要なのは、クラスごとの確率を調整した修正法である。 このような解釈可能性ギャップに対処するために、まず、高いICL出力確率を連続的に受けるクラスから不均衡が発生するのに対して、他のクラスはより低い範囲または混合範囲を選択できるため、前クラスはより頻繁に選択され、より高い精度が得られ、より重要なことに、これらの範囲は精度バイアスに著しく異なる影響を示し、精度で解釈可能な確率補正の必要性を強調している。 ファジィルール最適化に基づくデバイアス法であるFuRudを提案し,(1)どのクラスに修正が必要なのかを検知し,(2)各修正対象クラスに対して確率範囲を検出し,非対称増幅や縮小を適用して解釈する。 特に7つのベンチマークデータセットにおいて、FuRudはペアクラスの精度バイアス(COBias)を半分以上(56%)削減し、比較的精度が21%向上し、最先端のデバイアス法を上回っている。 さらに、FuRudは10の最適化例でダウンストリームタスクを最適化できる。 さらにFuRudは、非常に歪んだ予測につながるプロンプトフォーマットを処理できる。 例えば、FuRudは文字オプションを使用するICL出力を大幅に改善し、相対精度が44%、COBiasが54%向上した。

関連論文リスト

• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming [12.287692969438169]
  コンオッディティバイアス(COBias)として再認識することで、クラスごとの予測精度の不均衡に取り組む。 我々は,COBiasの低減と全体的な精度向上に向け,クラスごとのICLを補正するためのデバイアスプログラミング(DNIP)を提案する。 DNIPは従来のICLアプローチよりも大きなCOBias(27%)と精度改善(+12%)を同時に達成する。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
  実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。 本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。 提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2024-03-14T02:21:01Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
  適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。 提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-09-18T10:29:02Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Learning Optimal Fair Classification Trees: Trade-offs Between Interpretability, Fairness, and Accuracy [7.215903549622416]
  最適分類木を学習するための混合整数最適化フレームワークを提案する。 我々は、一般的なデータセットの公平な分類のための最先端アプローチに対して、我々の手法をベンチマークする。 我々の手法は、ほぼ完全に一致した決定を一貫して見つけ出すが、他の手法は滅多にない。
  論文  参考訳（メタデータ） (2022-01-24T19:47:10Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。