Fugu-MT 論文翻訳(概要): Systematic Biases in LLM Simulations of Debates

論文の概要: Systematic Biases in LLM Simulations of Debates

arxiv url: http://arxiv.org/abs/2402.04049v2
Date: Sat, 28 Sep 2024 11:27:06 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-01 22:01:43.682132
Title: Systematic Biases in LLM Simulations of Debates
Title（参考訳）: ディベートのLCMシミュレーションにおけるシステマティックビアーゼ
Authors: Amir Taubenfeld, Yaniv Dover, Roi Reichart, Ariel Goldstein,
Abstract要約: 人間の相互作用をシミュレートする際の大規模言語モデルの限界について検討する。以上の結果から, LLMエージェントがモデル固有の社会的バイアスに適合する傾向が示唆された。これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を浮き彫りにしている。
参考スコア（独自算出の注目度）: 12.933509143906141
License:
Abstract: The emergence of Large Language Models (LLMs), has opened exciting possibilities for constructing computational simulations designed to replicate human behavior accurately. Current research suggests that LLM-based agents become increasingly human-like in their performance, sparking interest in using these AI agents as substitutes for human participants in behavioral studies. However, LLMs are complex statistical learners without straightforward deductive rules, making them prone to unexpected behaviors. Hence, it is crucial to study and pinpoint the key behavioral distinctions between humans and LLM-based agents. In this study, we highlight the limitations of LLMs in simulating human interactions, particularly focusing on LLMs' ability to simulate political debates on topics that are important aspects of people's day-to-day lives and decision-making processes. Our findings indicate a tendency for LLM agents to conform to the model's inherent social biases despite being directed to debate from certain political perspectives. This tendency results in behavioral patterns that seem to deviate from well-established social dynamics among humans. We reinforce these observations using an automatic self-fine-tuning method, which enables us to manipulate the biases within the LLM and demonstrate that agents subsequently align with the altered biases. These results underscore the need for further research to develop methods that help agents overcome these biases, a critical step toward creating more realistic simulations.
Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、人間の振る舞いを正確に再現するように設計された計算シミュレーションを構築するためのエキサイティングな可能性を開いた。現在の研究は、LSMベースのエージェントがパフォーマンスにおいてますます人間に近いものになり、これらのAIエージェントを人間の行動研究の参加者の代用として使用することへの関心が高まっていることを示唆している。しかし, LLM は簡素な帰納規則を持たない複雑な統計的学習者であり, 予期せぬ行動を起こす傾向がある。したがって、人間とLDMをベースとしたエージェントの主な行動的区別を研究・特定することが重要である。本研究では,人間のインタラクションをシミュレートする上でのLLMの限界,特に人々の日々の生活と意思決定プロセスの重要な側面であるトピックに関する政治的議論をシミュレートするLLMの能力に注目した。以上の結果から,LLMエージェントが特定の政治的視点から議論される一方で,モデル固有の社会的バイアスに適合する傾向が示唆された。この傾向は、人間の間で確立された社会的ダイナミクスから逸脱しているように見える行動パターンをもたらす。自動自己調整法を用いてこれらの観察を補強し, LLM内のバイアスを操作可能とし, その後, エージェントが変化したバイアスと整合できることを実証する。これらの結果は、エージェントがより現実的なシミュレーションを作成するための重要なステップである、これらのバイアスを克服する手法を開発するためのさらなる研究の必要性を浮き彫りにしている。

関連論文リスト

Causality for Large Language Models [37.10970529459278]
数十億または数兆のパラメータを持つ大規模言語モデル(LLM)は、膨大なデータセットでトレーニングされており、一連の言語タスクで前例のない成功を収めている。近年の研究では、LLMは因果オウムとして機能し、因果知識を真に理解したり応用したりすることなくリサイクリングすることができることが強調されている。本調査は, ライフサイクルのすべての段階において, 因果性がどのようにLCMを強化するかを検討することを目的としている。
論文参考訳（メタデータ） (2024-10-20T07:22:23Z)
Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文参考訳（メタデータ） (2024-08-17T11:49:53Z)
PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文参考訳（メタデータ） (2024-07-17T08:13:22Z)
Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice [4.029252551781513]
本稿では,認知モデルとしての大規模言語モデルの有用性を高める新しい手法を提案する。生態学的に有効な算術的データセットに基づいて事前訓練されたLLMは、従来の認知モデルよりも人間の行動を予測する。
論文参考訳（メタデータ） (2024-05-29T17:37:14Z)
Explaining Large Language Models Decisions with Shapley Values [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-29T22:49:43Z)
Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文参考訳（メタデータ） (2024-02-20T11:03:36Z)
LLM-driven Imitation of Subrational Behavior : Illusion or Reality? [3.2365468114603937]
既存の作業は、複雑な推論タスクに対処し、人間のコミュニケーションを模倣する大規模言語モデルの能力を強調している。そこで本研究では,LLMを用いて人工人体を合成し,サブリレーショナル・エージェント・ポリシーを学習する手法を提案する。我々は,4つの単純なシナリオを通して,サブリレータリティをモデル化するフレームワークの能力について実験的に評価した。
論文参考訳（メタデータ） (2024-02-13T19:46:39Z)
How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。 SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
論文参考訳（メタデータ） (2023-12-28T16:51:11Z)
Simulating Opinion Dynamics with Networks of LLM-based Agents [7.697132934635411]
本稿では,Large Language Models (LLMs) の集団に基づく意見力学のシミュレーション手法を提案する。以上の結果から, LLMエージェントの正確な情報生成に対するバイアスが強く, シミュレーションエージェントが科学的現実に一致していることが明らかとなった。しかし、素早い工学を通して確認バイアスを誘導した後、既存のエージェント・ベース・モデリングや意見ダイナミクス研究と並んで意見の断片化を観察した。
論文参考訳（メタデータ） (2023-11-16T07:01:48Z)
Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文参考訳（メタデータ） (2023-11-07T15:40:43Z)
CoMPosT: Characterizing and Evaluating Caricature in LLM Simulations [61.9212914612875]
本研究では,LLMシミュレーションを4次元(コンテキスト,モデル,ペルソナ,トピック)で特徴付けるフレームワークを提案する。我々は,この枠組みを用いて,オープンエンドLLMシミュレーションのキャラクチュアへの感受性を測定する。 GPT-4では、特定の人口動態(政治的・疎外化グループ)と話題(一般には非論争的)のシミュレーションは、似顔絵に非常に敏感であることが判明した。
論文参考訳（メタデータ） (2023-10-17T18:00:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。