論文の概要: Ensemble Debiasing Across Class and Sample Levels for Fairer Prompting Accuracy

• arxiv url: http://arxiv.org/abs/2503.05157v3
• Date: Wed, 26 Mar 2025 10:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 12:47:10.340061
• Title: Ensemble Debiasing Across Class and Sample Levels for Fairer Prompting Accuracy
• Title（参考訳）: より公正なプロンプティング精度のためのクラスとサンプルレベルのアンサンブルデバイアス
• Authors: Ruixi Lin, Ziqiao Wang, Yang You,
• Abstract要約: 言語モデルは、強力な数発の学習者であり、テキスト分類タスクにおいて、全体的な精度が良好である。 我々は、全体的な精度の追求は、強い階級を豊かにするだけでなく、弱い階級を育てることによってもたらされると信じている。 本論文では,文脈内学習クラス確率のフレキシブルな修正を可能にするHeaviside Step関数に基づくアンサンブルデバイアス法を提案する。
• 参考スコア（独自算出の注目度）: 17.610305828703957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are strong few-shot learners and achieve good overall accuracy in text classification tasks, masking the fact that their results suffer from great class accuracy imbalance. We believe that the pursuit of overall accuracy should not come from enriching the strong classes, but from raising up the weak ones. To address the imbalance, we propose a Heaviside step function based ensemble debiasing method, which enables flexible rectifications of in-context learned class probabilities at both class and sample levels. Evaluations with Llama-2-13B on seven text classification benchmarks show that our approach achieves state-of-the-art overall accuracy gains with balanced class accuracies. More importantly, we perform analyses on the resulted probability correction scheme, showing that sample-level corrections are necessary to elevate weak classes. Due to effectively correcting weak classes, our method also brings significant performance gains to a larger model variant, Llama-2-70B, especially on a biomedical domain task, further demonstrating the necessity of ensemble debiasing at both levels.
• Abstract（参考訳）: 言語モデルは、強力な数発の学習者であり、テキスト分類タスクにおいて、全体的な精度を良好に達成し、それらの結果が大きなクラス精度の不均衡に悩まされているという事実を隠蔽する。 我々は、全体的な精度の追求は、強い階級を豊かにするだけでなく、弱い階級を育てることによってもたらされると信じている。 この不均衡に対処するため,Haviside ステップ関数に基づくアンサンブルデバイアス法を提案し,クラスレベルとサンプルレベルの両方において,コンテキスト内学習クラス確率の柔軟な修正を可能にする。 Llama-2-13B による7つのテキスト分類ベンチマークによる評価は,本手法がバランスの取れたクラスアキュラシーを用いて,最先端の総合的精度向上を実現することを示す。 より重要なことは、弱いクラスを増大させるためにサンプルレベルの補正が必要であることを示し、結果の確率補正方式の分析を行うことである。 また,弱いクラスを効果的に修正することにより,Llama-2-70Bのモデル変異体,特にバイオメディカルドメインタスクにおいて,両レベルでのアンサンブル・デバイアスの必要性が証明された。

関連論文リスト

• Fair Bilevel Neural Network (FairBiNN): On Balancing fairness and accuracy via Stackelberg Equilibrium [0.3350491650545292]
  バイアスを緩和する現在の方法は、情報損失と精度と公平性のバランスが不十分であることが多い。 本稿では,二段階最適化の原理に基づく新しい手法を提案する。 私たちのディープラーニングベースのアプローチは、正確性と公平性の両方を同時に最適化します。
  論文  参考訳（メタデータ） (2024-10-21T18:53:39Z)
• COBias and Debias: Balancing Class Accuracies for Language Models in Inference Time via Nonlinear Integer Programming [12.287692969438169]
  本稿では,言語モデルにおける基本的な推論時間問題について考察する。 問題の根底にあるものは、いくつかのクラスを過大予測し、他のクラスを過小予測する傾向があることです。 推論時間最適化によって効果的に緩和できることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Class-attribute Priors: Adapting Optimization to Heterogeneity and Fairness Objective [54.33066660817495]
  現代の分類問題は、個々のクラスにまたがって不均一性を示す。 本稿では,クラス固有の学習戦略を効果的かつ汎用的に生成するCAPを提案する。 CAPは先行技術と競合しており、その柔軟性により、バランスの取れた精度以上の公平性目標に対する明確なメリットが期待できる。
  論文  参考訳（メタデータ） (2024-01-25T17:43:39Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
  クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。 本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。 我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
  論文  参考訳（メタデータ） (2023-08-27T19:01:29Z)
• An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning [103.65758569417702]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルのパフォーマンスを向上させるという大きな約束を示している。 我々は、ラベル付きデータとラベルなしデータの両方で不均衡なクラス分散が発生する不均衡SSLという、より現実的で困難な設定について検討する。 我々は、ラベル付きデータを擬似ラベルで単純に補うことで、データの不均衡に取り組む単純なベースライン、SimiSについて研究する。
  論文  参考訳（メタデータ） (2022-11-20T21:18:41Z)
• Learning Sample Reweighting for Accuracy and Adversarial Robustness [15.591611864928659]
  本稿では,クラス条件付きマージンの概念に基づいて,個々のトレーニングサンプルによる損失の軽減を学習する,新たな逆トレーニングフレームワークを提案する。 我々の手法は、関連する手法や最先端のベースラインと比較して、クリーンかつ堅牢な精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-10-20T18:25:11Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。