論文の概要: Let the Fuzzy Rule Speak: Enhancing In-context Learning Debiasing with Interpretability

• arxiv url: http://arxiv.org/abs/2412.19018v4
• Date: Tue, 11 Feb 2025 12:39:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 16:10:29.509463
• Title: Let the Fuzzy Rule Speak: Enhancing In-context Learning Debiasing with Interpretability
• Title（参考訳）: ファジィルールを語る:解釈可能性によるコンテキスト内学習のデバイアスの強化
• Authors: Ruixi Lin, Yang You,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト分類タスクにおいて、文脈内学習(ICL)を用いたバランスの取れたクラス精度に苦慮することが多い。 本稿では、クラス精度の不均衡問題を深く掘り下げ、あるクラスが不均等に高いICL確率を常に受けているため、それが生じることを確かめる。 本稿では,サンプルレベルのクラス確率補正手法であるFuRudを紹介する。
• 参考スコア（独自算出の注目度）: 12.287692969438169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often struggle with balanced class accuracy in text classification tasks using in-context learning (ICL), hindering some practical uses due to user dissatisfaction or safety risks caused by misclassifications. Retraining LLMs to address root causes in data or model priors is neither easy nor cost-effective. This paper delves deeper into the class accuracy imbalance issue, identifying that it arises because certain classes consistently receive disproportionately high ICL probabilities, causing under-prediction and lower accuracy for others. More importantly, probability ranges affect the imbalance differently, allowing for precise, range-specific corrections. We introduce FuRud (Fuzzy Rule Optimization-based Debiasing), a method for sample-level class probability correction. FuRud tackles interpretability challenges by determining why certain classes need corrections and tailoring adjustments for each instance's class probabilities which is powered by fuzzy sets with triangular membership functions, transforming a class probability based on the range it belongs to. By solving a nonlinear integer programming problem with a labeled set of ICL class probabilities to minimize class accuracy bias (COBias) and maximize overall accuracy, each class selects an optimal correction function from 19 triangular membership functions without updating an LLM, and the selected functions correct test instances at inference. Across seven benchmark datasets, FuRud reduces COBias by over half (56%) and improves overall accuracy by 21% relatively, outperforming state-of-the-art debiasing methods.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、テキスト分類タスクにおいて、ICL (In-context Learning) を用いたバランスの取れたクラス精度に悩まされることが多い。 データやモデル事前の根本原因に対処するためのLLMのトレーニングは簡単でも費用対効果でもない。 本論文は、クラス精度の不均衡問題を深く掘り下げ、あるクラスが不均等に高いICL確率を常に受けており、低い予測と低い精度を他のクラスに与えていることを確認した。 さらに重要なことは、確率範囲が不均衡に異なる影響を及ぼし、正確で範囲固有の補正を可能にすることである。 本稿では,FuRud (Fuzzy Rule Optimization-based Debiasing)を導入する。 FuRudは、あるクラスが三角形のメンバシップ関数を持つファジィ集合を動力とする各インスタンスのクラス確率の補正や調整を必要とする理由を判断し、それに属する範囲に基づいてクラス確率を変換することで、解釈可能性の問題に取り組む。 クラス精度バイアス(COBias)を最小化し、全体的な精度を最大化するために、ラベル付きICLクラスの確率で非線形整数プログラミング問題を解くことにより、各クラスはLLMを更新せずに19個の三角形のメンバシップ関数から最適補正関数を選択し、選択された関数は推論時に正しいテストインスタンスを補正する。 7つのベンチマークデータセット全体で、FuRudはCOBiasを半分以上(56%)削減し、全体的な精度を21%向上させ、最先端のデバイアス手法を上回っている。

関連論文リスト

• Ensemble Debiasing Across Class and Sample Levels for Fairer Prompting Accuracy [17.610305828703957]
  言語モデルは、強力な数発の学習者であり、テキスト分類タスクにおいて、全体的な精度が良好である。 我々は、全体的な精度の追求は、強い階級を豊かにするだけでなく、弱い階級を育てることによってもたらされると信じている。 本論文では,文脈内学習クラス確率のフレキシブルな修正を可能にするHeaviside Step関数に基づくアンサンブルデバイアス法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T05:34:31Z)
• Risk-based Calibration for Generative Classifiers [4.792851066169872]
  リスクベースキャリブレーション(RC)と呼ばれる学習手法を提案する。 RCは、トレーニングサンプルの0-1損失に応じて関節確率分布を調整することにより、生成分類器を反復的に洗練する。 RCは、訓練誤差と一般化誤差の両方の観点から、クローズドフォームの学習手順を著しく上回っている。
  論文  参考訳（メタデータ） (2024-09-05T14:06:56Z)
• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• COBias and Debias: Minimizing Language Model Pairwise Accuracy Bias via Nonlinear Integer Programming [12.287692969438169]
  コンオッディティバイアス(COBias)として再認識することで、クラスごとの予測精度の不均衡に取り組む。 我々は,COBiasの低減と全体的な精度向上に向け,クラスごとのICLを補正するためのデバイアスプログラミング(DNIP)を提案する。 DNIPは従来のICLアプローチよりも大きなCOBias(27%)と精度改善(+12%)を同時に達成する。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Revisiting adversarial training for the worst-performing class [60.231877895663956]
  多くのデータセットにおいて、トップパフォーマンスクラスと最悪のパフォーマンスクラスの間には、かなりのギャップがある。 我々は、最悪のパフォーマンスのクラスを明示的に最適化することで、このギャップを減らせることができると論じる。 本手法は,クラス集中型オンライン学習(CFOL)と呼ばれ,最悪のクラス損失に対する高い確率収束保証を含む。
  論文  参考訳（メタデータ） (2023-02-17T13:41:40Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Learning Optimal Fair Classification Trees: Trade-offs Between Interpretability, Fairness, and Accuracy [7.215903549622416]
  最適分類木を学習するための混合整数最適化フレームワークを提案する。 我々は、一般的なデータセットの公平な分類のための最先端アプローチに対して、我々の手法をベンチマークする。 我々の手法は、ほぼ完全に一致した決定を一貫して見つけ出すが、他の手法は滅多にない。
  論文  参考訳（メタデータ） (2022-01-24T19:47:10Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• VaB-AL: Incorporating Class Imbalance and Difficulty with Variational Bayes for Active Learning [38.33920705605981]
  本研究では,クラス不均衡をアクティブラーニングフレームワークに自然に組み込む手法を提案する。 提案手法は,複数の異なるデータセットのタスク分類に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-25T07:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。