論文の概要: Do Personality-Tuned LLMs Make Better Social Agents?
- arxiv url: http://arxiv.org/abs/2609.21857v1
- Date: Fri, 18 Sep 2026 14:52:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.15369
- Title: Do Personality-Tuned LLMs Make Better Social Agents?
- Title(参考訳): パーソナリティを調整したLLMはより良いソーシャルエージェントを作るか?
- Abstract要約: 本研究では,パーソナライズされた対話生成の一貫性と制御性を向上させることにより,パーソナライズ対応の微調整がギャップを軽減できるかどうかを検討する。
パーソナライズされたソーシャルメディア投稿と対話を組み合わせたコーパスを用いて、2つの小さなオープンウェイトLDM、Qwen2.5-7B-InstructとMinistral-8B-Instructを微調整する。
その結果、微調整モデルでは、それぞれのベースラインモデルと異なるパーソナリティのロールプレイが良くないことがわかった。
- 参考スコア(独自算出の注目度): 2.0475879985876886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs are increasingly used in social simulations for socially interactive agents and robots, offering more flexibility than rule-based systems. However, even though they mimic human behaviour very well, there is a persistent alienness to them. This work investigates whether personality-aware fine-tuning can reduce this gap by improving the consistency and controllability of personality-conditioned dialogue generation compared with instruction prompting alone. We fine-tune two small open-weight LLMs, Qwen2.5-7B-Instruct and Ministral-8B-Instruct, using a corpus that combines personality-labelled social media posts and dialogues to create a personality-based dialogue engine for social simulation. The resulting models are evaluated across multiple social interaction scenarios using three independent LLM judges, which assess personality fidelity and provide evidence-based behavioral interpretations. We additionally quantify inter-rater agreement and lexical characteristics of the generated dialogue. Results indicate that fine-tuned models are not better at role-playing different personalities than their respective baseline models. However, low inter-rater agreement limits the confidence with which these results can be interpreted. Concerning the quality of generated texts, fine-tuned models are mostly comparable to the baselines, with fine-tuning improving the linguistic diversity of the Qwen models. While the results appear generally usable and the baseline models offer the best overall performance, future studies should place greater emphasis on the quality and domain alignment of training data for accurate personality role-playing.
- Abstract(参考訳): LLMは、社会的に対話的なエージェントやロボットの社会シミュレーションにますます使われており、ルールベースのシステムよりも柔軟性がある。
しかし、人間の行動が非常にうまく模倣されているにもかかわらず、それらには永続的な異性が存在する。
本研究は,個性を考慮した微調整により,個性を考慮した対話生成の一貫性と制御性を向上させることにより,個性を考慮した微調整により,このギャップを軽減できるかどうかを考察する。
ソーシャルシミュレーションのためのパーソナライズベースの対話エンジンを構築するために,ソーシャルメディア投稿と対話を組み合わせたコーパスを用いて,2つの小さなオープンウェイトLDM,Qwen2.5-7B-InstructとMinistral-8B-Instructを微調整する。
得られたモデルは、3つの独立したLCM判断器を用いて、複数の社会的相互作用シナリオで評価され、人格の忠実さを評価し、エビデンスに基づく行動解釈を提供する。
さらに、生成した対話のラター間一致と語彙特性を定量化する。
その結果、微調整モデルでは、それぞれのベースラインモデルと異なるパーソナリティのロールプレイが良くないことがわかった。
しかし、低レーダ間合意は、これらの結果が解釈できる信頼を制限する。
生成されたテキストの品質に関しては、細調整されたモデルは基本的にベースラインに匹敵するものであり、微調整によってQwenモデルの言語的多様性が向上する。
結果は概して有用であり,ベースラインモデルは最高の全体的なパフォーマンスを提供するが,今後の研究は,正確なパーソナリティロールプレイングのためのトレーニングデータの品質とドメインアライメントに重点を置くべきである。
関連論文リスト
- Can LLMs Truly Embody Human Personality? Analyzing AI and Human Behavior Alignment in Dispute Resolution [7.599497643290519]
大規模言語モデル (LLMs) は、社会的環境における人間の振る舞いをシミュレートするためにますます使われている。
これらのシミュレーションがヒトで観察される性格行動パターンを再現するかどうかは不明である。
論文 参考訳(メタデータ) (2026-02-07T07:20:24Z) - TwinVoice: A Multi-dimensional Benchmark Towards Digital Twins via LLM Persona Simulation [55.55404595177229]
大型言語モデル(LLM)は、人間のような能力を示す。
TwinVoiceは、さまざまな現実世界のコンテキストにわたるペルソナシミュレーションを評価するためのベンチマークである。
論文 参考訳(メタデータ) (2025-10-29T14:00:42Z) - Can LLM Agents Maintain a Persona in Discourse? [3.286711575862228]
大規模言語モデル(LLM)は、教育、法律、医学など、様々な分野でその能力を利用する会話エージェントとして広く利用されている。
LLMは、しばしばコンテキストシフトの振る舞いを受け、一貫性と解釈可能なパーソナリティ整合性の相互作用が欠如する。
LLMはパーソナライズされた対話へと導くことができるが、その性格特性を維持する能力はモデルと談話設定の組み合わせによって大きく異なる。
論文 参考訳(メタデータ) (2025-02-17T14:36:39Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。
データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。
厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
論文 参考訳(メタデータ) (2024-07-17T08:13:22Z) - LLM Agents in Interaction: Measuring Personality Consistency and
Linguistic Alignment in Interacting Populations of Large Language Models [4.706971067968811]
簡単な変数誘導サンプリングアルゴリズムを用いて,大規模言語モデル (LLM) エージェントの2群集団を作成する。
人格検査を行ない、共同作業にエージェントを提出し、異なるプロファイルが会話相手に対して異なるレベルの人格整合性および言語的整合性を示すことを確認する。
論文 参考訳(メタデータ) (2024-02-05T11:05:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。