Fugu-MT 論文翻訳(概要): Unmasking Conversational Bias in AI Multiagent Systems

論文の概要: Unmasking Conversational Bias in AI Multiagent Systems

arxiv url: http://arxiv.org/abs/2501.14844v1
Date: Fri, 24 Jan 2025 09:10:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-28 13:59:00.767290
Title: Unmasking Conversational Bias in AI Multiagent Systems
Title（参考訳）: AIマルチエージェントシステムにおける会話バイアスの解法
Authors: Erica Coppolillo, Giuseppe Manco, Luca Maria Aiello,
Abstract要約: 生成モデルを含むマルチエージェントシステムで生じる可能性のあるバイアスは、未研究のままである。本稿では,対話型大規模言語モデルのマルチエージェントシステムにおけるバイアスの定量化を目的としたフレームワークを提案する。エコーチャンバー実験で観測されたバイアスは、現在最先端のバイアス検出法で検出されていない。
参考スコア（独自算出の注目度）: 1.0705399532413618
License:
Abstract: Detecting biases in the outputs produced by generative models is essential to reduce the potential risks associated with their application in critical settings. However, the majority of existing methodologies for identifying biases in generated text consider the models in isolation and neglect their contextual applications. Specifically, the biases that may arise in multi-agent systems involving generative models remain under-researched. To address this gap, we present a framework designed to quantify biases within multi-agent systems of conversational Large Language Models (LLMs). Our approach involves simulating small echo chambers, where pairs of LLMs, initialized with aligned perspectives on a polarizing topic, engage in discussions. Contrary to expectations, we observe significant shifts in the stance expressed in the generated messages, particularly within echo chambers where all agents initially express conservative viewpoints, in line with the well-documented political bias of many LLMs toward liberal positions. Crucially, the bias observed in the echo-chamber experiment remains undetected by current state-of-the-art bias detection methods that rely on questionnaires. This highlights a critical need for the development of a more sophisticated toolkit for bias detection and mitigation for AI multi-agent systems. The code to perform the experiments is publicly available at https://anonymous.4open.science/r/LLMsConversationalBias-7725.
Abstract（参考訳）: 生成モデルによって生成された出力のバイアスを検出することは、アプリケーションのクリティカルな環境での潜在的なリスクを減らすために不可欠である。しかし、生成したテキストのバイアスを識別するための既存の方法論のほとんどは、モデルを分離して考慮し、文脈的応用を無視する。特に、生成モデルを含むマルチエージェントシステムで生じる可能性のあるバイアスは、未研究のままである。このギャップに対処するために,対話型大規模言語モデル(LLM)のマルチエージェントシステムにおけるバイアスの定量化を目的としたフレームワークを提案する。提案手法では,一対のLLMが偏極性のある話題の視点で初期化され,議論される小さなエコーチャンバーをシミュレートする。期待とは対照的に、生成されたメッセージに表されるスタンス、特に全てのエージェントが当初保守的な視点を表現していたエコーチャンバーにおいて、多くのLDMのリベラルな立場に対する政治的偏見に則って、大きな変化を観察する。重要な点として、エコー・チャンバー実験で観察されたバイアスは、アンケートに依存する現在最先端のバイアス検出方法によって検出されていない。これは、AIマルチエージェントシステムのバイアス検出と緩和のためのより洗練されたツールキットの開発にとって、重要な必要性を強調している。実験を行うコードはhttps://anonymous.4open.science/r/LLMsConversationalBias-7725で公開されている。

関連論文リスト

Investigating Implicit Bias in Large Language Models: A Large-Scale Study of Over 50 LLMs [0.0]
大規模言語モデル(LLM)は幅広いタスクで採用されている。最近の研究では、LLMは明示的な偏見評価をパスしても暗黙の偏見を抑えることができることが示されている。この研究は、新しい言語モデルやより大きな言語モデルが自動的にバイアスを減らさないことを強調している。
論文参考訳（メタデータ） (2024-10-13T03:43:18Z)
MindScope: Exploring cognitive biases in large language models through Multi-Agent Systems [12.245537894266803]
我々は静的要素と動的要素を区別して統合する'MindScope'データセットを紹介した。静的成分は、72の認知バイアスカテゴリにまたがる5,170のオープンエンド質問からなる。動的コンポーネントはルールベースのマルチエージェント通信フレームワークを利用して、マルチラウンド対話を生成する。さらに,検索・拡張生成(RAG),競争的議論,強化学習に基づく意思決定モジュールを組み込んだ多エージェント検出手法を提案する。
論文参考訳（メタデータ） (2024-10-06T11:23:56Z)
A Multi-LLM Debiasing Framework [85.17156744155915]
大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-20T20:24:50Z)
The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation [3.9945212716333063]
大規模言語モデル(LLM)による決定に影響を与えるため、暗黙のバイアスは重要である。伝統的に、明示的なバイアステストや埋め込みベースの手法はバイアスを検出するために使用されるが、これらのアプローチはより微妙で暗黙的なバイアスの形式を見落としることができる。提案手法は, 暗黙の偏見を明らかにするために, 即発的, 意思決定的タスクによる2つの新しい心理学的手法を導入している。
論文参考訳（メタデータ） (2024-07-01T13:21:33Z)
Towards Probing Speech-Specific Risks in Large Multimodal Models: A Taxonomy, Benchmark, and Insights [50.89022445197919]
本研究は,8つのリスクカテゴリーを敵意(悪意的皮肉と脅し),悪意的模倣(年齢,性別,民族),ステレオタイプ的バイアス(年齢,性別,民族)を対象とする音声特異的リスク分類法を提案する。分類に基づいて,これらのリスクのカテゴリを検出するために,現在のLMM能力を評価するための小規模データセットを作成する。
論文参考訳（メタデータ） (2024-06-25T10:08:45Z)
FairMonitor: A Dual-framework for Detecting Stereotypes and Biases in Large Language Models [9.385390205833893]
大規模言語モデル(LLM)におけるステレオタイプとバイアスの包括的評価のためのFairMonitorフレームワークの提案と静的力学検出手法の適用について述べる。静的なコンポーネントは、直接調査テスト、暗黙の関連テスト、未知の状況テストで構成され、その中には、9つのセンシティブな要因と26の教育シナリオを含む10,262のオープンエンド質問が含まれている。我々はマルチエージェントシステムを用いて、より複雑で現実的な環境で微妙なバイアスを検出する動的シナリオを信頼する。
論文参考訳（メタデータ） (2024-05-06T01:23:07Z)
OpenBias: Open-set Bias Detection in Text-to-Image Generative Models [108.2219657433884]
OpenBiasを提示するテキストから画像生成モデルにおけるオープンセットバイアス検出の課題に対処する。 OpenBiasは、事前コンパイルされた集合にアクセスすることなく、バイアスの深刻度を不可知的に識別し、定量化する。本研究では, 安定拡散1.5, 2, XLの挙動について検討した。
論文参考訳（メタデータ） (2024-04-11T17:59:56Z)
Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
論文参考訳（メタデータ） (2024-03-22T00:59:48Z)
Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文参考訳（メタデータ） (2024-03-08T12:35:07Z)
Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy for Temporal Sentence Grounding in Video [67.24316233946381]
TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
論文参考訳（メタデータ） (2024-01-15T09:59:43Z)
Hard-normal Example-aware Template Mutual Matching for Industrial Anomaly Detection [78.734927709231]
異常検出器は、クエリー画像の未知の欠陥を検出し、ローカライズするために工業製造で広く使われている。これらの検出器は異常のないサンプルで訓練され、ほとんどの通常のサンプルと区別された異常を成功させた。しかし、ハードノーマルな例は、ほとんどの通常のサンプルから遠く離れており、しばしば既存の方法によって異常と誤認される。
論文参考訳（メタデータ） (2023-03-28T17:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。