論文の概要: LIDAO: Towards Limited Interventions for Debiasing (Large) Language Models

• arxiv url: http://arxiv.org/abs/2406.00548v1
• Date: Sat, 1 Jun 2024 20:12:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 06:25:48.248124
• Title: LIDAO: Towards Limited Interventions for Debiasing (Large) Language Models
• Title（参考訳）: LIDAO:Debiasing(Large)言語モデルに対する限定的介入を目指して
• Authors: Tianci Liu, Haoyu Wang, Shiyang Wang, Yu Cheng, Jing Gao,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語生成タスクにおいて印象的なパフォーマンスを達成した。 しかし、一部の人口集団に偏った、ネガティブで有害なコンテンツを生み出すことに苦しむ。 本稿では,(L)LMを高い流速で脱バイアスするフレームワークであるLIDAOを提案する。
• 参考スコア（独自算出の注目度）: 19.18522268167047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved impressive performance on various natural language generation tasks. Nonetheless, they suffer from generating negative and harmful contents that are biased against certain demographic groups (e.g., female), raising severe fairness concerns. As remedies, prior works intervened the generation by removing attitude or demographic information, inevitably degrading the generation quality and resulting in notable \textit{fairness-fluency} trade-offs. However, it is still under-explored to what extent the fluency \textit{has to} be affected in order to achieve a desired level of fairness. In this work, we conduct the first formal study from an information-theoretic perspective. We show that previous approaches are excessive for debiasing and propose LIDAO, a general framework to debias a (L)LM at a better fluency provably. We further robustify LIDAO in adversarial scenarios, where a carefully-crafted prompt may stimulate LLMs exhibiting instruction-following abilities to generate texts with fairness issue appears only when the prompt is also taken into account. Experiments on three LMs ranging from 0.7B to 7B parameters demonstrate the superiority of our method.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語生成タスクにおいて印象的なパフォーマンスを達成した。 それでも、特定の人口集団(例えば、女性)に偏りのある、ネガティブで有害なコンテンツを生成し、厳しい公平さの懸念を生じさせる。 修正として、事前の作業は、態度や人口統計情報を排除し、生成品質を必然的に劣化させ、顕著な「textit{fairness-fluency}」トレードオフをもたらすことによって、世代を介入した。 しかし、Fluency \textit{hasto} がどの程度の公平性を達成するために影響を受けるかはまだ解明されていない。 本研究では,情報理論の観点から初めて公式な研究を行う。 従来の手法はデバイアス化には過大であり, LIDAO は (L)LM を高い流速で脱バイアスする一般的なフレームワークである。 我々はさらに、LIDAOを敵のシナリオで強化し、慎重に構築されたプロンプトは、命令追従能力を示すLCMを刺激し、そのプロンプトも考慮された場合にのみ、公平な問題のあるテキストを生成する。 0.7B から 7B までの 3 つの LM 実験により,本手法の優位性を実証した。

関連論文リスト

• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• In-Contextual Gender Bias Suppression for Large Language Models [47.246504807946884]
  大きな言語モデル (LLM) は、性バイアスの心配レベルをエンコードしていると報告されている。 手動で設計したテンプレートから構築したプリアンブルを提供することにより,LLMのバイアス発生を防止するバイアス抑制を提案する。 その結果,HellaSwag と COPA による下流タスク性能にバイアス抑制が悪影響があることが判明した。
  論文  参考訳（メタデータ） (2023-09-13T18:39:08Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Toward Fairness in Text Generation via Mutual Information Minimization based on Importance Sampling [23.317845744611375]
  そこで本研究では,生成した文のセマンティクスと人口極性との間の相互情報の最小化を提案する。 このように、人口集団の言及は、生成したテキストに記述される方法から独立することが奨励される。 また, 脱バイアス後のPLMの言語モデリング能力を維持する蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-02-25T18:29:02Z)
• Perturbation Augmentation for Fairer NLP [33.442601687940204]
  少なくとも、モデルフェアネスを測定するための最良の指標によると、人口動態に乱れたコーパスで事前訓練された言語モデルは、より公平である。 我々の発見は有望であるように思われるが、大きな言語モデルの(不)公正性を評価するのにどのように最適かという優れた疑問だけでなく、まだいくつかの制限がある。
  論文  参考訳（メタデータ） (2022-05-25T09:00:29Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。