論文の概要: Let the Fuzzy Rule Speak: Enhancing In-context Learning Debiasing with Interpretability

• arxiv url: http://arxiv.org/abs/2412.19018v3
• Date: Wed, 22 Jan 2025 06:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:30:15.804750
• Title: Let the Fuzzy Rule Speak: Enhancing In-context Learning Debiasing with Interpretability
• Title（参考訳）: ファジィルールを語る:解釈可能性によるコンテキスト内学習のデバイアスの強化
• Authors: Ruixi Lin, Yang You,
• Abstract要約: 本研究では,この問題に対処するため,推論時デバイアス法であるFuRud(ファジィルール最適化に基づくデバイアス)を導入する。 FuRudは、あるクラスが各サンプルとクラス確率に対して補正と調整を必要とする理由を決定することで、中核的な解釈可能性の問題に対処する。 7つのベンチマークデータセット全体で、FuRudはCOBiasを半分以上(56%)削減し、全体の精度が21%向上した。
• 参考スコア（独自算出の注目度）: 12.287692969438169
• License:
• Abstract: One of the potential failures of large language models (LLMs) is their imbalanced class performances in text classification tasks. With in-context learning (ICL), LLMs yields good accuracy for some classes but low accuracy for others. This imbalance is particularly problematic when misclassifications lead to user dissatisfaction or safety risks. While the root causes may lie in the data, addressing them from the source through training is neither easy nor cost-effective. To delve deeper, the imbalance stems from certain classes consistently receiving disproportionately high ICL probabilities, while others receive lower probabilities, resulting in under-prediction and lower accuracy in the latter. Crucially, probability ranges vary in their impact on the imbalance, enabling precise corrections by range. Therefore, this work introduces an inference-time debiasing method, FuRud (Fuzzy Rule Optimization-based Debiasing), to tackle this issue. FuRud addresses core interpretability challenges by determining why certain classes require corrections and tailoring adjustments for each sample and class probability. Tailored corrections use fuzzy sets with triangular membership functions, because they can transform per-sample class probabilities based on probability ranges. Each class selects one from 19 triangular membership functions, solving a nonlinear integer programming selection problem with simulated annealing, to minimize class accuracy bias (COBias) and maximize overall accuracy without updating LLM parameters. Notably, across seven benchmark datasets, FuRud reduces COBias by more than half (56%), while achieving a relative increase of 21% in overall accuracy, outperforming state-of-the-art debiasing methods.
• Abstract（参考訳）: 大きな言語モデル(LLM)の潜在的な失敗の1つは、テキスト分類タスクにおける不均衡なクラスパフォーマンスである。 文脈内学習(ICL)では、LLMは一部のクラスでは精度が良いが、他のクラスでは精度が低い。 この不均衡は、誤分類がユーザの不満や安全性のリスクにつながる場合に特に問題となる。 根本原因はデータにあるかもしれないが、ソースからトレーニングを通じてそれらに対処することは簡単でも費用対効果でもない。 より深く掘り下げるには、不均衡は不均等に高いICL確率を連続的に受けるクラスに由来するが、他のクラスは低い確率を与えられるため、予測不足と後者の精度が低下する。 重要な点として、確率範囲は不均衡に対する影響が異なるため、範囲ごとの正確な補正が可能である。 そこで本研究では,FuRud (Fuzzy Rule Optimization-based Debiasing) という推論時デバイアス法を導入し,この問題に対処する。 FuRudは、あるクラスが各サンプルとクラス確率に対して補正と調整を必要とする理由を決定することで、中核的な解釈可能性の問題に対処する。 テーラー補正は、確率範囲に基づいてサンプル単位のクラス確率を変換できるため、三角形の会員関数を持つファジィ集合を用いる。 各クラスは、19の三角形のメンバシップ関数から1つを選択し、シミュレートされたアニールによる非線形整数プログラミング選択問題を解き、クラス精度バイアス(COBias)を最小化し、LLMパラメータを更新することなく全体的な精度を最大化する。 特に7つのベンチマークデータセットで、FuRudはCOBiasを半分以上(56%)削減し、全体的な精度は21%向上し、最先端のデバイアス手法を上回っている。

関連論文リスト

• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming [12.287692969438169]
  コンオッディティバイアス(COBias)として再認識することで、クラスごとの予測精度の不均衡に取り組む。 我々は,COBiasの低減と全体的な精度向上に向け,クラスごとのICLを補正するためのデバイアスプログラミング(DNIP)を提案する。 DNIPは従来のICLアプローチよりも大きなCOBias(27%)と精度改善(+12%)を同時に達成する。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
  実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。 本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。 提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2024-03-14T02:21:01Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
  適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。 提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-09-18T10:29:02Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Learning Optimal Fair Classification Trees: Trade-offs Between Interpretability, Fairness, and Accuracy [7.215903549622416]
  最適分類木を学習するための混合整数最適化フレームワークを提案する。 我々は、一般的なデータセットの公平な分類のための最先端アプローチに対して、我々の手法をベンチマークする。 我々の手法は、ほぼ完全に一致した決定を一貫して見つけ出すが、他の手法は滅多にない。
  論文  参考訳（メタデータ） (2022-01-24T19:47:10Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。