論文の概要: Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.07077v1
• Date: Mon, 10 Feb 2025 22:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:23.967551
• Title: Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける擬人化行動のマルチターン評価
• Authors: Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger,
• Abstract要約: ユーザーが大きな言語モデル(LLM)を人為的に形作る傾向は、AI開発者、研究者、政策立案者への関心が高まっている。 本稿では,現実的かつ多様な環境下での人為的 LLM の挙動を実証的に評価する手法を提案する。 まず,14の人為的行動のマルチターン評価を開発する。 次に,ユーザインタラクションのシミュレーションを用いて,スケーラブルで自動化されたアプローチを提案する。 第3に,対話型大規模人体調査(N=1101)を実施し,実際のユーザの人文的知覚を予測するモデル行動を検証する。
• 参考スコア（独自算出の注目度）: 26.333097337393685
• License:
• Abstract: The tendency of users to anthropomorphise large language models (LLMs) is of growing interest to AI developers, researchers, and policy-makers. Here, we present a novel method for empirically evaluating anthropomorphic LLM behaviours in realistic and varied settings. Going beyond single-turn static benchmarks, we contribute three methodological advances in state-of-the-art (SOTA) LLM evaluation. First, we develop a multi-turn evaluation of 14 anthropomorphic behaviours. Second, we present a scalable, automated approach by employing simulations of user interactions. Third, we conduct an interactive, large-scale human subject study (N=1101) to validate that the model behaviours we measure predict real users' anthropomorphic perceptions. We find that all SOTA LLMs evaluated exhibit similar behaviours, characterised by relationship-building (e.g., empathy and validation) and first-person pronoun use, and that the majority of behaviours only first occur after multiple turns. Our work lays an empirical foundation for investigating how design choices influence anthropomorphic model behaviours and for progressing the ethical debate on the desirability of these behaviours. It also showcases the necessity of multi-turn evaluations for complex social phenomena in human-AI interaction.
• Abstract（参考訳）: ユーザーが大きな言語モデル(LLM)を人為的に形作る傾向は、AI開発者、研究者、政策立案者への関心が高まっている。 本稿では,現実的かつ多様な環境下での人為的 LLM の挙動を実証的に評価する手法を提案する。 単ターン静的ベンチマークを超えて、我々は最先端(SOTA)LLM評価において3つの方法論的進歩を貢献する。 まず,14の人為的行動のマルチターン評価を開発する。 次に,ユーザインタラクションのシミュレーションを用いて,スケーラブルで自動化されたアプローチを提案する。 第3に,対話型大規模人体調査(N=1101)を実施し,実際のユーザの人文的知覚を予測するモデル行動を検証する。 評価されたすべてのSOTA LLMは、関係構築(例えば、共感と検証)と1人称代名詞の使用によって特徴付けられる類似した行動を示し、ほとんどの行動は、複数のターン後にのみ発生する。 我々の研究は、デザイン選択が人為的モデル行動にどのように影響するかを調査し、これらの行動の望ましさに関する倫理的議論を進めるための実証的な基礎を築いた。 また、人間とAIの相互作用における複雑な社会現象に対するマルチターン評価の必要性も示した。

関連論文リスト

• How Far are LLMs from Being Our Digital Twins? A Benchmark for Persona-Based Behavior Chain Simulation [30.713599131902566]
  本稿では,デジタル双生児が連続した人間の行動をシミュレートする能力を評価する最初のベンチマークであるBehavimentChainを紹介する。 BehaviorChainは、多種多様で高品質なペルソナベースの行動連鎖で構成され、1,001のユニークなペルソナに対して15,846の異なる振る舞いがある。 総合的な評価結果は、最先端モデルでさえ、連続した人間の行動の正確なシミュレートに苦慮していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T15:29:32Z)
• Thinking beyond the anthropomorphic paradigm benefits LLM research [1.7392902719515677]
  私たちは過去10年で何十万ものコンピュータサイエンス研究論文を分析しました。 大型言語モデル(LLM)研究における人類型用語の有病率と成長の実証的証拠を提示する。 これらの概念化は制限されている可能性があり、人間の類推を超えてLLMの理解と改善のための新たな道を開くと我々は主張する。
  論文  参考訳（メタデータ） (2025-02-13T11:32:09Z)
• From Individual to Society: A Survey on Social Simulation Driven by Large Language Model-based Agents [47.935533238820334]
  伝統的な社会学研究は、しばしば人間の参加に頼っているが、それは効果的だが、高価であり、スケールが困難であり、倫理的な懸念がある。 大規模言語モデル(LLM)の最近の進歩は、人間の振る舞いをシミュレートし、個々の反応の複製を可能にし、多くの学際的な研究を容易にする可能性を強調している。 シミュレーションは,(1)特定の個人や人口集団を模倣する個人シミュレーション,(2)複数のエージェントが協調して特定の状況における目標を達成するシナリオシミュレーション,(3)エージェント社会内の相互作用をモデル化して実世界のダイナミクスの複雑さや多様性を反映するシミュレーション社会の3種類に分類される。
  論文  参考訳（メタデータ） (2024-12-04T18:56:37Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
  アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。 本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
  論文  参考訳（メタデータ） (2024-07-09T06:11:18Z)
• Human Simulacra: Benchmarking the Personification of Large Language Models [38.21708264569801]
  大規模言語モデル(LLM)は、人間の知性の側面を忠実に模倣するシステムとして認識されている。 本稿では,仮想キャラクタのライフストーリーをゼロから構築するためのフレームワークを提案する。 実験により, 構築したシミュラクラは, 対象キャラクタと一致した擬人化応答を生成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-28T09:11:14Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
  本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。 本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。 我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
  論文  参考訳（メタデータ） (2020-07-07T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。