論文の概要: RAZOR: Sharpening Knowledge by Cutting Bias with Unsupervised Text Rewriting

• arxiv url: http://arxiv.org/abs/2412.07675v3
• Date: Thu, 19 Dec 2024 10:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:30.019857
• Title: RAZOR: Sharpening Knowledge by Cutting Bias with Unsupervised Text Rewriting
• Title（参考訳）: RAZOR:教師なしテキスト書き換えによるバイアスカットによる知識向上
• Authors: Shuo Yang, Bardh Prenkaj, Gjergji Kasneci,
• Abstract要約: 手動で構築されたデータセットで一般的なバイアスは、トークンとラベルの間に急激な相関をもたらす可能性がある。 既存のデバイアス法は、しばしば特定のデータセットバイアスに関する事前の知識に依存している。 本稿では,ショートカット緩和のためのテキスト書き直しに基づく,新規で教師なし,データ重視のデバイアス処理手法であるRAZORを提案する。
• 参考スコア（独自算出の注目度）: 16.633948320306832
• License:
• Abstract: Despite the widespread use of LLMs due to their superior performance in various tasks, their high computational costs often lead potential users to opt for the pretraining-finetuning pipeline. However, biases prevalent in manually constructed datasets can introduce spurious correlations between tokens and labels, creating so-called shortcuts and hindering the generalizability of fine-tuned models. Existing debiasing methods often rely on prior knowledge of specific dataset biases, which is challenging to acquire a priori. We propose RAZOR (Rewriting And Zero-bias Optimization Refinement), a novel, unsupervised, and data-focused debiasing approach based on text rewriting for shortcut mitigation. RAZOR leverages LLMs to iteratively rewrite potentially biased text segments by replacing them with heuristically selected alternatives in a shortcut space defined by token statistics and positional information. This process aims to align surface-level text features more closely with diverse label distributions, thereby promoting the learning of genuine linguistic patterns. Compared with unsupervised SoTA models, RAZOR improves by 3.5% on the FEVER and 6.5% on MNLI and SNLI datasets according to the F1 score. Additionally, RAZOR effectively mitigates specific known biases, reducing bias-related terms by x2 without requiring prior bias information, a result that is on par with SoTA models that leverage prior information. Our work prioritizes data manipulation over architectural modifications, emphasizing the pivotal role of data quality in enhancing model performance and fairness. This research contributes to developing more robust evaluation benchmarks for debiasing methods by incorporating metrics for bias reduction and overall model efficacy.
• Abstract（参考訳）: 様々なタスクにおける優れた性能のためにLLMが広く使用されているにもかかわらず、その高い計算コストは、ユーザーが事前訓練済みのファインタニングパイプラインを選択することにつながることが多い。 しかし、手動で構築されたデータセットで広く見られるバイアスは、トークンとラベルの間の急激な相関を導入し、いわゆるショートカットを作成し、微調整されたモデルの一般化を妨げます。 既存のデバイアス手法は、しばしば特定のデータセットバイアスの事前知識に依存しており、優先順位を取得するのは難しい。 本稿では,テキストの書き直しに基づく新しい,教師なし,データ中心のデバイアス処理手法であるRAZORを提案する。 RAZOR は LLM を利用して、トークン統計と位置情報によって定義されたショートカット空間のヒューリスティックに選択された代替品に置き換えることで、潜在的にバイアスのあるテキストセグメントを反復的に書き換える。 このプロセスは,表層テキストの特徴を多様なラベル分布とより密に整合させ,真の言語パターンの学習を促進することを目的としている。 教師なしSoTAモデルと比較すると、RAZORはFEVERで3.5%、MNLIおよびSNLIデータセットで6.5%改善している。 さらにRAZORは、特定の既知のバイアスを効果的に軽減し、事前のバイアス情報を必要としないx2によるバイアス関連用語を減らす。 我々の研究は、アーキテクチャの変更よりもデータ操作を優先し、モデルの性能と公正性を高める上で、データ品質の重要な役割を強調します。 本研究は、バイアス低減のための指標と全体モデルの有効性を組み込むことにより、より堅牢なデバイアス評価ベンチマークの開発に寄与する。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Robust Natural Language Understanding with Residual Attention Debiasing [28.53546504339952]
  本稿では,意図しないバイアスを注意から軽減するエンド・ツー・エンド・デバイアス手法を提案する。 実験により、READはショートカットを除去したOODデータ上でのBERTベースのモデルの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-05-28T04:25:04Z)
• CausalAPM: Generalizable Literal Disentanglement for NLU Debiasing [47.129713744669075]
  我々は因果推論の観点からデータセットバイアスの原因を分析する。 本稿では,特徴の粒度からバイアス問題を改善するために,一般化可能なリテラル分離フレームワークCausalAPMを提案する。
  論文  参考訳（メタデータ） (2023-05-04T14:22:26Z)
• Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation [44.319739489968164]
  ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。 本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。 本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
  論文  参考訳（メタデータ） (2022-05-25T09:08:35Z)
• Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets [27.562256973255728]
  自然言語処理モデルはしばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象のディストリビューション内でのみうまく機能する。 そこで本研究では, 脱バイアス化したデータセットを生成して, 脱バイアス化したオフザシェルフモデルをトレーニングする手法を提案する。 提案手法は,1)高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法,2)素粒子相関に寄与するデータ点を除去するフィルタリング機構から構成される。
  論文  参考訳（メタデータ） (2022-03-24T09:08:05Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Regularizing Models via Pointwise Mutual Information for Named Entity Recognition [17.767466724342064]
  ドメイン内での性能を向上しつつ、一般化能力を高めるために、PMI(Pointwise Mutual Information)を提案する。 提案手法により,ベンチマークデータセットの単語とラベルの相関度を高く抑えることができる。 長い名前と複雑な構造を持つエンティティに対して、これらのエンティティは協調的あるいは特別な文字の偏りによって予測できる。
  論文  参考訳（メタデータ） (2021-04-15T05:47:27Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。