論文の概要: Limits of Large Language Models in Debating Humans
- arxiv url: http://arxiv.org/abs/2402.06049v1
- Date: Tue, 6 Feb 2024 03:24:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 14:07:29.074217
- Title: Limits of Large Language Models in Debating Humans
- Title(参考訳): 人間論における大規模言語モデルの限界
- Authors: James Flamino, Mohammed Shahid Modi, Boleslaw K. Szymanski, Brendan
Cross, Colton Mikolajczyk
- Abstract要約: 大きな言語モデル(LLM)は、人間と熟達して対話する能力において顕著な可能性を示してきた。
本論文は,LLMエージェントを現実の人間と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown remarkable promise in their ability
to interact proficiently with humans. Subsequently, their potential use as
artificial confederates and surrogates in sociological experiments involving
conversation is an exciting prospect. But how viable is this idea? This paper
endeavors to test the limits of current-day LLMs with a pre-registered study
integrating real people with LLM agents acting as people. The study focuses on
debate-based opinion consensus formation in three environments: humans only,
agents and humans, and agents only. Our goal is to understand how LLM agents
influence humans, and how capable they are in debating like humans. We find
that LLMs can blend in and facilitate human productivity but are less
convincing in debate, with their behavior ultimately deviating from human's. We
elucidate these primary failings and anticipate that LLMs must evolve further
before being viable debaters.
- Abstract(参考訳): 大規模言語モデル(llm)は、人間と巧みに対話する能力に顕著な期待を示してきた。
その後、会話に関わる社会学的実験で人工的な南軍やサロゲートとしての使用の可能性は、エキサイティングな見通しである。
しかし、このアイデアはどの程度有効か?
本論文は,LLMエージェントを現実人と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
この研究は、人間のみ、エージェントと人間、エージェントのみの3つの環境における議論に基づく意見合意形成に焦点を当てている。
私たちのゴールは、LLMエージェントが人間にどのように影響するか、そして人間のように議論する能力について理解することです。
LLMは人間の生産性をブレンドし促進するが、議論では説得力に欠けており、最終的には人間の行動から逸脱する。
我々は、これらの主要な失敗を解明し、LCMが議論者になる前にさらに進化する必要があることを期待する。
関連論文リスト
- Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments [0.0]
大型言語モデル(LLM)はすでに人間と同じくらい説得力がある。
本稿では, LLMの説得戦略について, 人為的議論と比較し検討する。
論文 参考訳(メタデータ) (2024-04-14T19:01:20Z) - Can Language Models Recognize Convincing Arguments? [12.458437450959416]
大規模言語モデル(LLM)は、パーソナライズされ説得力のある誤情報やプロパガンダを作成するために、その潜在的な誤用を懸念している。
疑わしい議論を検出するための関連課題について,その性能について検討する。
これらのタスクにおいて、LLMは人間と同等に動作し、異なるLLMからの予測を組み合わせることで、大幅な性能向上が得られることを示す。
論文 参考訳(メタデータ) (2024-03-31T17:38:33Z) - How should the advent of large language models affect the practice of
science? [51.62881233954798]
大規模言語モデルの出現は科学の実践にどのように影響を与えるべきか?
我々は4つの科学者グループを招待し、この質問を反映し、彼らの見解を共有し、議論をおこなった。
論文 参考訳(メタデータ) (2023-12-05T10:45:12Z) - Large Language Models: The Need for Nuance in Current Debates and a
Pragmatic Perspective on Understanding [1.3654846342364308]
LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。
本論文は,LLM能力の批判において再発する3点を批判的に評価する。
LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
論文 参考訳(メタデータ) (2023-10-30T15:51:04Z) - BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。
そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。
GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
論文 参考訳(メタデータ) (2023-10-20T16:53:51Z) - Character-LLM: A Trainable Agent for Role-Playing [67.35139167985008]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするエージェントとして用いられる。
本稿では, ベートーヴェン, クレオパトラ女王, ユリウス・カエサルなど, LLM に特定の人物として行動するように教えるキャラクタ-LLMを紹介する。
論文 参考訳(メタデータ) (2023-10-16T07:58:56Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z) - Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning
Skills of LLMs [0.0]
本研究では,大規模言語モデル(LLM)の性能について,様々な推論課題について検討する。
その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2023-03-22T22:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。