論文の概要: A Multi-LLM Debiasing Framework
- arxiv url: http://arxiv.org/abs/2409.13884v1
- Date: Fri, 20 Sep 2024 20:24:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 03:05:08.860561
- Title: A Multi-LLM Debiasing Framework
- Title(参考訳): マルチLLMデバイアスフレームワーク
- Authors: Deonna M. Owens, Ryan A. Rossi, Sungchul Kim, Tong Yu, Franck Dernoncourt, Xiang Chen, Ruiyi Zhang, Jiuxiang Gu, Hanieh Deilamsalehy, Nedim Lipka,
- Abstract要約: 大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。
近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。
LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
- 参考スコア(独自算出の注目度): 85.17156744155915
- License:
- Abstract: Large Language Models (LLMs) are powerful tools with the potential to benefit society immensely, yet, they have demonstrated biases that perpetuate societal inequalities. Despite significant advancements in bias mitigation techniques using data augmentation, zero-shot prompting, and model fine-tuning, biases continuously persist, including subtle biases that may elude human detection. Recent research has shown a growing interest in multi-LLM approaches, which have been demonstrated to be effective in improving the quality of reasoning and factuality in LLMs. Building on this approach, we propose a novel multi-LLM debiasing framework aimed at reducing bias in LLMs. Our work is the first to introduce and evaluate two distinct approaches within this framework for debiasing LLMs: a centralized method, where the conversation is facilitated by a single central LLM, and a decentralized method, where all models communicate directly. Our findings reveal that our multi-LLM framework significantly reduces bias in LLMs, outperforming the baseline method across several social groups.
- Abstract(参考訳): 大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。
データ強化、ゼロショットプロンプト、モデル微調整を用いたバイアス緩和技術が大幅に進歩したにもかかわらず、バイアスは継続的に持続し、微妙なバイアスは人間の検出を妨げる可能性がある。
近年,LLMにおける推論や事実性の向上に有効なマルチLLMアプローチへの関心が高まっている。
本稿では,LLMのバイアス低減を目的としたマルチLLM脱バイアスフレームワークを提案する。
我々の研究は,LLMを疎結合化するための2つの異なるアプローチを初めて導入し,評価した。
我々のマルチLLMフレームワークは,LLMのバイアスを著しく低減し,複数のソーシャルグループでベースライン法よりも優れていた。
関連論文リスト
- Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs [6.090496490133132]
本稿では,従来のRLHFのフィードバックに取って代わるバイアス緩和手法であるReinforcement Learning from Multi-role Debates as Feedback (RLDF)を提案する。
強化学習における報酬モデルのトレーニングに,高バイアスと低バイアスの両方のインスタンスを含むデータセットを作成するために,LLMをマルチロール討論に活用する。
論文 参考訳(メタデータ) (2024-04-15T22:18:50Z) - Steering LLMs Towards Unbiased Responses: A Causality-Guided Debiasing
Framework [20.753141804841]
大規模言語モデル(LLM)はバイアスや差別的な応答を容易に生成できる。
本稿では,人口統計情報とLCMのアウトプットの関連性に着目し,社会的偏見に着目した。
論文 参考訳(メタデータ) (2024-03-13T17:46:28Z) - A Group Fairness Lens for Large Language Models [34.0579082699443]
大規模な言語モデルは、ソーシャルメディアの文脈に展開する際の偏見と不公平さを永久に防ぐことができる。
多様な社会集団を特徴付ける新しい階層型スキーマを用いて,グループフェアネスレンズからLLMバイアスを評価する。
我々は,グループフェアネスの観点からLLMのバイアスを軽減するために,GF-Thinkという新しいチェーン・オブ・シンク法を考案した。
論文 参考訳(メタデータ) (2023-12-24T13:25:15Z) - Large Language Model (LLM) Bias Index -- LLMBI [0.0]
LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。
年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。
OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
論文 参考訳(メタデータ) (2023-12-22T15:38:13Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - A Survey on Fairness in Large Language Models [28.05516809190299]
大規模言語モデル(LLM)は、強力なパフォーマンスと開発見通しを示している。
LLMは、未処理のトレーニングデータから社会的バイアスをキャプチャし、そのバイアスを下流のタスクに伝達する。
不公平なLLMシステムは、望ましくない社会的影響と潜在的な害がある。
論文 参考訳(メタデータ) (2023-08-20T03:30:22Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。
これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。
言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
論文 参考訳(メタデータ) (2023-06-22T17:31:44Z) - On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。
より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。