論文の概要: Let the Rule Speak: Enhancing In-context Learning Debiasing with Interpretability

• arxiv url: http://arxiv.org/abs/2412.19018v1
• Date: Thu, 26 Dec 2024 01:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:27:09.398529
• Title: Let the Rule Speak: Enhancing In-context Learning Debiasing with Interpretability
• Title（参考訳）: ルールを語る:解釈可能性によるコンテキスト内学習のデバイアスの緩和
• Authors: Ruixi Lin, Yang You,
• Abstract要約: In-context Learningは、多クラステキスト分類において、クラスごとの予測精度が不均衡であることが判明した。 本稿ではファジィルール最適化に基づくデバイアス法であるFuRudを提案する。 FuRudは、ペア級精度バイアス(COBias)を半分以上(56%)削減し、相対的に21%の精度を達成する。
• 参考スコア（独自算出の注目度）: 12.287692969438169
• License:
• Abstract: In-context learning, which allows large language models to perform diverse tasks with a few demonstrations, is found to have imbalanced per-class prediction accuracy on multi-class text classification. Although notable output correction methods have been developed to tackle the issue and simultaneously improve downstream prediction accuracy, they may fail to answer the core interpretability challenges: why and which certain classes need corrections, and more importantly, a tailored correction for per-sample, per-class's probability. To address such interpretability gaps, we first find that the imbalance arises from certain classes consistently receiving high ICL output probabilities, whereas others receiving lower or mixed ranges, so the former is more frequently chosen, resulting in higher accuracy; more crucially, we find that these ranges have significantly varying degrees of influence on the accuracy bias, highlighting the need for precise, interpretable probability corrections by range. Motivated by this, we propose FuRud, a Fuzzy Rule Optimization based Debiasing method, that (1) detects which classes need corrections, and (2) for each correction-needed class, detects its probability ranges and applies asymmetric amplifications or reductions to correct them interpretably. Notably, across seven benchmark datasets, FuRud reduces the pairwise class accuracy bias (COBias) by more than half (56%), while achieving a relative increase of 21% in accuracy, outperforming state-of-the-art debiasing methods. Moreover, FuRud can optimize downstream tasks with as few as 10 optimization examples. Furthermore, FuRud can work for prompt formats that lead to highly skewed predictions. For example, FuRud greatly improves ICL outputs which use letter options, with 44% relative accuracy increase and 54% relative COBias reduction.
• Abstract（参考訳）: In-context Learningは、大規模な言語モデルでいくつかのデモを行い、多様なタスクを実行できるが、マルチクラスのテキスト分類において、クラスごとの予測精度が不均衡であることがわかった。 この問題に対処し、同時に下流予測精度を向上させるために、顕著な出力補正法が開発されているが、なぜどのクラスに修正が必要なのか、そしてより重要なのは、クラスごとの確率を調整した修正法である。 このような解釈可能性ギャップに対処するために、まず、高いICL出力確率を連続的に受けるクラスから不均衡が発生するのに対して、他のクラスはより低い範囲または混合範囲を選択できるため、前クラスはより頻繁に選択され、より高い精度が得られ、より重要なことに、これらの範囲は精度バイアスに著しく異なる影響を示し、精度で解釈可能な確率補正の必要性を強調している。 ファジィルール最適化に基づくデバイアス法であるFuRudを提案し,(1)どのクラスに修正が必要なのかを検知し,(2)各修正対象クラスに対して確率範囲を検出し,非対称増幅や縮小を適用して解釈する。 特に7つのベンチマークデータセットにおいて、FuRudはペアクラスの精度バイアス(COBias)を半分以上(56%)削減し、比較的精度が21%向上し、最先端のデバイアス法を上回っている。 さらに、FuRudは10の最適化例でダウンストリームタスクを最適化できる。 さらにFuRudは、非常に歪んだ予測につながるプロンプトフォーマットを処理できる。 例えば、FuRudは文字オプションを使用するICL出力を大幅に改善し、相対精度が44%、COBiasが54%向上した。

関連論文リスト

• Risk-based Calibration for Probabilistic Classifiers [4.792851066169872]
  リスクベースキャリブレーション(RC)と呼ばれる一般的な反復的手法を導入し,0-1損失による経験的リスクを最小限に抑える。 RCは、元の閉形式学習アルゴリズムの経験的誤りを改善し、より顕著に、勾配降下法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-09-05T14:06:56Z)
• COBias and Debias: Balancing Class Accuracies for Language Models in Inference Time via Nonlinear Integer Programming [12.287692969438169]
  本稿では,言語モデルにおける基本的な推論時間問題について考察する。 問題の根底にあるものは、いくつかのクラスを過大予測し、他のクラスを過小予測する傾向があることです。 推論時間最適化によって効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
  監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。 正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。 本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-08T22:40:19Z)
• Revisiting adversarial training for the worst-performing class [60.231877895663956]
  多くのデータセットにおいて、トップパフォーマンスクラスと最悪のパフォーマンスクラスの間には、かなりのギャップがある。 我々は、最悪のパフォーマンスのクラスを明示的に最適化することで、このギャップを減らせることができると論じる。 本手法は,クラス集中型オンライン学習(CFOL)と呼ばれ,最悪のクラス損失に対する高い確率収束保証を含む。
  論文  参考訳（メタデータ） (2023-02-17T13:41:40Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• VaB-AL: Incorporating Class Imbalance and Difficulty with Variational Bayes for Active Learning [38.33920705605981]
  本研究では,クラス不均衡をアクティブラーニングフレームワークに自然に組み込む手法を提案する。 提案手法は,複数の異なるデータセットのタスク分類に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-25T07:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。