論文の概要: Counterfactual Multi-Token Fairness in Text Classification

• arxiv url: http://arxiv.org/abs/2202.03792v2
• Date: Wed, 9 Feb 2022 04:29:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 13:27:17.591249
• Title: Counterfactual Multi-Token Fairness in Text Classification
• Title（参考訳）: テキスト分類における対実的マルチトークンフェアネス
• Authors: Pranay Lohia
• Abstract要約: 対実生成の概念は、あらゆる形式のテキストや文書に有効なマルチトークンサポートにまで拡張されている。 我々は,複数の機密トークンを摂動することで,偽造語を生成する手法を,偽造語マルチトークン生成として定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The counterfactual token generation has been limited to perturbing only a single token in texts that are generally short and single sentences. These tokens are often associated with one of many sensitive attributes. With limited counterfactuals generated, the goal to achieve invariant nature for machine learning classification models towards any sensitive attribute gets bounded, and the formulation of Counterfactual Fairness gets narrowed. In this paper, we overcome these limitations by solving root problems and opening bigger domains for understanding. We have curated a resource of sensitive tokens and their corresponding perturbation tokens, even extending the support beyond traditionally used sensitive attributes like Age, Gender, Race to Nationality, Disability, and Religion. The concept of Counterfactual Generation has been extended to multi-token support valid over all forms of texts and documents. We define the method of generating counterfactuals by perturbing multiple sensitive tokens as Counterfactual Multi-token Generation. The method has been conceptualized to showcase significant performance improvement over single-token methods and validated over multiple benchmark datasets. The emendation in counterfactual generation propagates in achieving improved Counterfactual Multi-token Fairness.
• Abstract（参考訳）: 偽造トークンの生成は、一般的に短文で単一の文である1つのトークンだけを摂動することに限定されている。 これらのトークンは、しばしば多くの繊細な属性の1つに関連付けられる。 反事実が生成されると、任意の機密属性に対する機械学習分類モデルの不変性を達成するという目標が限定され、反事実公平性の定式化が狭まる。 本稿では,根の問題を解き,理解のためにより大きな領域を開くことで,これらの限界を克服する。 我々は、機密トークンとその対応する摂動トークンのリソースをキュレートし、年齢、性別、国籍への人種、障害、宗教といった伝統的に使用される機密属性を超えてサポートを拡張しました。 対実生成の概念は、あらゆる形式のテキストや文書に有効なマルチトークンサポートにまで拡張されている。 我々は,複数の機密トークンを摂動することで,偽造語を生成する方法を定義した。 この手法は、シングルトーケン方式よりも大幅な性能向上を示すために概念化され、複数のベンチマークデータセット上で検証されている。 カウンターファクト・ジェネレーションの賛同は、改良されたカウンターファクト・マルチトークン・フェアネスの実現に寄与する。

関連論文リスト

• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [68.68025991850115]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Token Alignment via Character Matching for Subword Completion [34.76794239097628]
  本稿では,生成モデルにおけるテキスト補完におけるトークン化アーティファクトの緩和手法について検討する。 この手法はトークンアライメントと呼ばれ、最後の完全なトークンをバックトラックし、モデルの生成がプロンプトと整合することを保証する。
  論文  参考訳（メタデータ） (2024-03-13T16:44:39Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)
• Beyond Attentive Tokens: Incorporating Token Importance and Diversity for Efficient Vision Transformers [32.972945618608726]
  視覚変換器は様々な視覚タスクにおいて大幅に改善されているが、トークン間の2次相互作用は計算効率を大幅に低下させた。 本稿では,トークン分離におけるトークンの重要性と多様性を共同で検討できる,効率的なトークン分離とマージ手法を提案する。 FLOPを40%削減した後,DeiT-Tの精度を0.1%向上させることができる。
  論文  参考訳（メタデータ） (2022-11-21T09:57:11Z)
• Practical Approaches for Fair Learning with Multitype and Multivariate Sensitive Attributes [70.6326967720747]
  現実世界に展開された機械学習アルゴリズムが不公平さや意図しない社会的結果をもたらすことはないことを保証することが重要である。 本稿では,カーネルHilbert Spacesの相互共分散演算子上に構築されたフェアネス尺度であるFairCOCCOを紹介する。 実世界のデータセットにおける予測能力と公正性のバランスをとる上で、最先端技術に対する一貫した改善を実証的に示す。
  論文  参考訳（メタデータ） (2022-11-11T11:28:46Z)
• NeuroCounterfactuals: Beyond Minimal-Edit Counterfactuals for Richer Data Augmentation [55.17069935305069]
  本稿では,緩やかな反ファクトとして設計されたNeuroCounterfactualsを紹介する。 我々の新しい生成的アプローチは、言語モデル適応による感情制御による制約付き復号化の利点を橋渡しする。
  論文  参考訳（メタデータ） (2022-10-22T06:29:21Z)
• Flexible text generation for counterfactual fairness probing [8.262741696221143]
  テキストベースの分類器における公平性問題をテストする一般的なアプローチは、偽造品の使用である。 既存の偽物生成方法はワードリストやテンプレートに依存しており、文法や文脈、微妙な属性参照を考慮していない単純な偽物を生成する。 本稿では,これらの欠点を克服し,大規模言語モデル(LLM)をいかに活用してその課題を進展させるかを示す。
  論文  参考訳（メタデータ） (2022-06-28T05:07:20Z)
• Token Manipulation Generative Adversarial Network for Text Generation [0.0]
  我々は条件付きテキスト生成問題を,make-a-blank と fill-in-blank の2つのタスクに分解し,前者を拡張してより複雑なトークン操作を行う。 提案モデルでは,限界に対処するだけでなく,品質や多様性の面で性能を損なうことなく良好な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-05-06T13:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。