Fugu-MT 論文翻訳(概要): Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

論文の概要: Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

arxiv url: http://arxiv.org/abs/2502.07077v1
Date: Mon, 10 Feb 2025 22:09:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-12 18:22:47.900217
Title: Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models
Title（参考訳）: 大規模言語モデルにおける擬人化行動のマルチターン評価
Authors: Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger,
Abstract要約: ユーザーが大きな言語モデル(LLM)を人為的に形作る傾向は、AI開発者、研究者、政策立案者への関心が高まっている。本稿では,現実的かつ多様な環境下での人為的 LLM の挙動を実証的に評価する手法を提案する。まず,14の人為的行動のマルチターン評価を開発する。次に,ユーザインタラクションのシミュレーションを用いて,スケーラブルで自動化されたアプローチを提案する。第3に,対話型大規模人体調査(N=1101)を実施し,実際のユーザの人文的知覚を予測するモデル行動を検証する。
参考スコア（独自算出の注目度）: 26.333097337393685
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The tendency of users to anthropomorphise large language models (LLMs) is of growing interest to AI developers, researchers, and policy-makers. Here, we present a novel method for empirically evaluating anthropomorphic LLM behaviours in realistic and varied settings. Going beyond single-turn static benchmarks, we contribute three methodological advances in state-of-the-art (SOTA) LLM evaluation. First, we develop a multi-turn evaluation of 14 anthropomorphic behaviours. Second, we present a scalable, automated approach by employing simulations of user interactions. Third, we conduct an interactive, large-scale human subject study (N=1101) to validate that the model behaviours we measure predict real users' anthropomorphic perceptions. We find that all SOTA LLMs evaluated exhibit similar behaviours, characterised by relationship-building (e.g., empathy and validation) and first-person pronoun use, and that the majority of behaviours only first occur after multiple turns. Our work lays an empirical foundation for investigating how design choices influence anthropomorphic model behaviours and for progressing the ethical debate on the desirability of these behaviours. It also showcases the necessity of multi-turn evaluations for complex social phenomena in human-AI interaction.
Abstract（参考訳）: ユーザーが大きな言語モデル(LLM)を人為的に形作る傾向は、AI開発者、研究者、政策立案者への関心が高まっている。本稿では,現実的かつ多様な環境下での人為的 LLM の挙動を実証的に評価する手法を提案する。単ターン静的ベンチマークを超えて、我々は最先端(SOTA)LLM評価において3つの方法論的進歩を貢献する。まず,14の人為的行動のマルチターン評価を開発する。次に,ユーザインタラクションのシミュレーションを用いて,スケーラブルで自動化されたアプローチを提案する。第3に,対話型大規模人体調査(N=1101)を実施し,実際のユーザの人文的知覚を予測するモデル行動を検証する。評価されたすべてのSOTA LLMは、関係構築(例えば、共感と検証)と1人称代名詞の使用によって特徴付けられる類似した行動を示し、ほとんどの行動は、複数のターン後にのみ発生する。我々の研究は、デザイン選択が人為的モデル行動にどのように影響するかを調査し、これらの行動の望ましさに関する倫理的議論を進めるための実証的な基礎を築いた。また、人間とAIの相互作用における複雑な社会現象に対するマルチターン評価の必要性も示した。

関連論文リスト

Higher-Order Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions [4.234771450043289]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする能力が高まっている。本稿では, マルチターンインタビュー文として, 合成ユーザバックストリーを用いた仮想ペルソナ構築手法を提案する。我々の生成したバックストリーは、より長く、細部が豊富であり、従来の方法と比較して、特定の個人を記述するのに一貫性がある。
論文参考訳（メタデータ） (2025-04-16T00:10:34Z)
SocioVerse: A World Model for Social Simulation Powered by LLM Agents and A Pool of 10 Million Real-World Users [70.02370111025617]
本稿では,社会シミュレーションのためのエージェント駆動世界モデルであるSocioVerseを紹介する。私たちのフレームワークは、4つの強力なアライメントコンポーネントと1000万の実際の個人からなるユーザプールを備えています。 SocioVerseは、多様性、信頼性、代表性を確保しつつ、大規模な人口動態を反映できることを示した。
論文参考訳（メタデータ） (2025-04-14T12:12:52Z)
If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
論文参考訳（メタデータ） (2025-03-30T16:50:57Z)
How Far are LLMs from Being Our Digital Twins? A Benchmark for Persona-Based Behavior Chain Simulation [30.713599131902566]
本稿では,デジタル双生児が連続した人間の行動をシミュレートする能力を評価する最初のベンチマークであるBehavimentChainを紹介する。 BehaviorChainは、多種多様で高品質なペルソナベースの行動連鎖で構成され、1,001のユニークなペルソナに対して15,846の異なる振る舞いがある。総合的な評価結果は、最先端モデルでさえ、連続した人間の行動の正確なシミュレートに苦慮していることを示している。
論文参考訳（メタデータ） (2025-02-20T15:29:32Z)
From Individual to Society: A Survey on Social Simulation Driven by Large Language Model-based Agents [47.935533238820334]
伝統的な社会学研究は、しばしば人間の参加に頼っているが、それは効果的だが、高価であり、スケールが困難であり、倫理的な懸念がある。大規模言語モデル(LLM)の最近の進歩は、人間の振る舞いをシミュレートし、個々の反応の複製を可能にし、多くの学際的な研究を容易にする可能性を強調している。シミュレーションは,(1)特定の個人や人口集団を模倣する個人シミュレーション,(2)複数のエージェントが協調して特定の状況における目標を達成するシナリオシミュレーション,(3)エージェント社会内の相互作用をモデル化して実世界のダイナミクスの複雑さや多様性を反映するシミュレーション社会の3種類に分類される。
論文参考訳（メタデータ） (2024-12-04T18:56:37Z)
PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文参考訳（メタデータ） (2024-07-17T08:13:22Z)
Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
論文参考訳（メタデータ） (2024-07-09T06:11:18Z)
Human Simulacra: Benchmarking the Personification of Large Language Models [38.21708264569801]
大規模言語モデル(LLM)は、人間の知性の側面を忠実に模倣するシステムとして認識されている。本稿では,仮想キャラクタのライフストーリーをゼロから構築するためのフレームワークを提案する。実験により, 構築したシミュラクラは, 対象キャラクタと一致した擬人化応答を生成できることが実証された。
論文参考訳（メタデータ） (2024-02-28T09:11:14Z)
User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文参考訳（メタデータ） (2023-06-05T02:58:35Z)
Predicting the long-term collective behaviour of fish pairs with deep learning [52.83927369492564]
本研究では,魚種Hemigrammus rhodostomusの社会的相互作用を評価するための深層学習モデルを提案する。我々は、ディープラーニングのアプローチの結果と実験結果と、最先端の分析モデルの結果を比較した。機械学習モデルにより、ソーシャルインタラクションは、微妙な実験的観測可能な解析的相互作用と直接競合できることを実証する。
論文参考訳（メタデータ） (2023-02-14T05:25:03Z)
Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文参考訳（メタデータ） (2020-07-07T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。