論文の概要: OdysSim: Building Foundation Models for Human Behavior Simulation

• arxiv url: http://arxiv.org/abs/2606.14199v1
• Date: Fri, 12 Jun 2026 07:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.798384
• Title: OdysSim: Building Foundation Models for Human Behavior Simulation
• Title（参考訳）: OdysSim:人間行動シミュレーションの基礎モデルの構築
• Authors: Xuhui Zhou, Weiwei Sun, Weihua Du, Jiarui Liu, Haojia Sun, Qianou Ma, Tongshuang Wu, Yiming Yang, Maarten Sap,
• Abstract要約: 大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。 OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
• 参考スコア（独自算出の注目度）: 70.35265860287608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly deployed as human simulators for interactive evaluation and social simulation. Yet helpfulness-driven post-training pulls them toward a homogeneous, overly agreeable assistant register, creating a behavioral Sim2Real gap. We present OdysSim, the largest open systematic investigation of behavioral foundation models, i.e., models trained to simulate human behavior at scale. We propose SOUL, a taxonomy of five capability axes (CONV, SS, COG, ROLE, EVAL) that unifies 62 datasets and 23 benchmark tasks under one framework. Specifically, we curate the OdysSim corpus (21.4M interactions, 10B tokens, retrofitted with back-generated social contexts), construct the SOUL-Index benchmark, and develop an end-to-end training recipe combining midtraining, task-specific RL, and expert distillation. The resulting open 8B OSim model ranks first or tied-first on 8 of 23 tasks, outperforming any individual frontier model by this count, with the strongest gains on conversational and social tasks. Its outputs are also more human-like in length, formatting, and word choice, and it transfers zero-shot to out-of-distribution user simulation on $τ$-bench, nearly matching real users on reaction alignment (93.2 vs. 93.5). We further show that LLM-as-judge RL induces reward-hacking patterns, and that our detectors can mitigate them during post-training. Together, our findings suggest that behavioral foundation models require rethinking the LLM training paradigm. We release all artifacts to support future research.
• Abstract（参考訳）: 大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有用性駆動のポストトレーニングは、それらを同質で過度に同意可能なアシスタントレジスタへと引き寄せ、振る舞いのSim2Realギャップを生み出す。 OdysSimは、行動基盤モデル、すなわち、大規模に人間の行動をシミュレートするために訓練されたモデルに関する、最も大きなオープン・システマティックな研究である。 62のデータセットと23のベンチマークタスクを1つのフレームワークで統合する5つの機能軸(CONV, SS, COG, ROLE, EVAL)の分類法であるSOULを提案する。 具体的には、OdysSimコーパス(インタラクション21.4M、トークン10B、バックジェネレーション付きソーシャルコンテキスト)をキュレートし、SOUL-Indexベンチマークを構築し、中級訓練、タスク固有RL、エキスパート蒸留を組み合わせたエンドツーエンドのトレーニングレシピを開発した。 その結果、オープンな8Bオシムモデルは、23タスクのうち8タスクで1位または1位にランクインし、このカウントで個々のフロンティアモデルよりも優れており、会話や社会的なタスクで最大の利益を上げている。 出力は長さ、フォーマット、単語選択の点で人間に似ており、ゼロショットを$τ$-benchのアウト・オブ・ディストリビューション・ユーザー・シミュレーションに転送し、反応アライメント(93.2 vs. 93.5)で実際のユーザーとほぼ一致する。 さらに, LLM-as-judge RLは報奨行動パターンを誘導し, 検知器が訓練後に緩和できることを示す。 この結果から,行動基礎モデルにはLLMトレーニングパラダイムの再考が必要であることが示唆された。 将来の研究を支援するため、すべての成果物を公開します。

関連論文リスト

• Reinforcing Human Behavior Simulation via Verbal Feedback [105.68319269895653]
  本稿では,言語フィードバックを強化学習の第一級信号として扱うことによって訓練したモデルであるDITTOを提案する。 また、心の理論、キャラクターロールプレイ、社会的スキル、学習者シミュレーション、ユーザシミュレーション、ペルソナシミュレーションの6つのカテゴリにまたがる10のタスクにまたがる統合ベンチマークとトレーニングデータスイートであるSOULを紹介した。 DitTOはベースモデルに対して平均36%の改善を達成し、10のSOULベンチマークでGPT-5.4を上回った。
  論文  参考訳（メタデータ） (2026-05-19T21:23:24Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• Sparse Rewards Can Self-Train Dialogue Agents [22.799506097310008]
  我々は,LLMエージェントに対して,外部からのフィードバックを伴わずに,自律的にパフォーマンスを向上させるための新たな自己改善パラダイムを導入する。 我々はMultiWOZから派生したスパース報酬ツール呼び出しシミュレーション環境であるToolWOZを提案する。 JOSHでトレーニングされたモデルは、小規模でもフロンティアでも、ツールベースのインタラクションを大幅に改善し、さまざまなベンチマークで一般的なモデル機能を保持します。
  論文  参考訳（メタデータ） (2024-09-06T21:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。