論文の概要: OmniSimulator: Aligning Small Language Models for Authentic Heterogeneous Behavior Modeling
- arxiv url: http://arxiv.org/abs/2610.29472v1
- Date: Wed, 21 Oct 2026 09:30:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.302191
- Title: OmniSimulator: Aligning Small Language Models for Authentic Heterogeneous Behavior Modeling
- Title(参考訳): OmniSimulator: 認証不均一な振る舞いモデリングのための小さな言語モデルを調整する
- Abstract要約: 対話型システムのための汎用ユーザシミュレータとして,大規模言語モデル (LLM) が大きな可能性を示している。
OmniSimulator は,現実的なユーザシミュレーションのための小型 LLM の予測能力の向上を目的とした,新しいトレーニングフレームワークである。
我々は,200人の実ユーザによる3ヶ月のインタラクショントラジェクトリから,高品質なトレーニングインスタンスを9,881件構築する。
- 参考スコア(独自算出の注目度): 80.33444603142405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown great potential as general-purpose user simulators for interactive systems. Prior studies have demonstrated that training on high-quality data can substantially improve model reasoning and downstream task performance. However, the upper bound of user simulation is still constrained by the model's reasoning paradigm: native chain-of-thought often degenerates into shallow pattern matching and fails to adequately model the behavioral factors underlying real user decisions. In this paper, we propose OmniSimulator, a novel training framework designed to improve the predictive ability of small LLMs for realistic user simulation on short-video platform environments. Specifically, OmniSimulator organizes behavior-oriented reasoning through a structured schema with five dimensions, carefully selects data from real user-behavior scenarios, and introduces a teacher model to generate high-quality reasoning traces under the proposed schema, helping small models learn behavior-relevant reasoning patterns rather than relying on superficial behavioral correlations. Based on this process, we construct 9,881 high-quality training instances from three months of historical interaction trajectories of 200 real users, averaging about 50 distilled examples per user. Experimental results show that OmniSimulator improves the average score of Qwen3-8B by 34.33%, achieves performance competitive with Claude-Sonnet-4.5, and supports smaller-scale, self-hosted deployment. These results suggest that learning structured behavior-oriented reasoning patterns is a promising direction towards scalable and high-fidelity LLM-based user simulation.
- Abstract(参考訳): 対話型システムのための汎用ユーザシミュレータとして,大規模言語モデル (LLM) が大きな可能性を示している。
従来の研究では、高品質なデータに対するトレーニングが、モデル推論と下流タスクのパフォーマンスを大幅に改善できることが示されている。
しかし、ユーザーシミュレーションの上限はまだモデルの推論パラダイムによって制約されている: ネイティブチェーンは、しばしば浅いパターンマッチングに縮退し、実際のユーザー決定の根底にある行動要因を適切にモデル化することができない。
本稿では,短いビデオプラットフォーム環境におけるユーザシミュレーションを実現するため,小型LLMの予測能力向上を目的とした新しいトレーニングフレームワークであるOmniSimulatorを提案する。
具体的には、OmniSimulatorは5次元の構造化スキーマを通して行動指向推論を組織し、実際のユーザ-行動シナリオからデータを慎重に選択し、提案スキーマに基づいて高品質な推論トレースを生成する教師モデルを導入し、表面的な行動相関に頼るのではなく、小さなモデルで行動関連推論パターンを学習する手助けをする。
このプロセスに基づいて,200人の実ユーザによる3ヶ月のインタラクショントラジェクトリから9,881件の高品質なトレーニングインスタンスを構築した。
実験の結果、OmniSimulatorはQwen3-8Bの平均スコアを34.33%改善し、Claude-Sonnet-4.5と性能的に競合し、より小規模で自己ホスト型のデプロイメントをサポートすることがわかった。
これらの結果は,構造化行動指向推論パターンの学習が,スケーラブルかつ高忠実なLCMベースのユーザシミュレーションに向けた有望な方向であることを示唆している。
関連論文リスト
- "Act Like a 5th Grader" is Not Enough: Bounding Knowledge in LLM-Based User Simulators [15.029309551125962]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために使われることが多いが、現実的な認知的制約を示すのに失敗することが多い。
標準的なペルソナは、ほぼ完璧で決定論的性能を示し、発展途上の読者の自然な分散を捉えていない。
我々は,若手読者の限られたワーキングメモリを明示的にモデル化するアーキテクチャフレームワークであるCognitively bounded User Simulator (CBUS)を紹介する。
論文 参考訳(メタデータ) (2026-08-30T20:44:17Z) - Will Scaling Improve Social Simulation with LLMs? [87.15677770205751]
大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。
スケーリング法則を用いて, LLMの計算規模, 一般能力ベンチマーク, 社会シミュレーションの忠実度との関係について検討する。
論文 参考訳(メタデータ) (2026-07-02T17:30:38Z) - SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。
現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。
シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
論文 参考訳(メタデータ) (2025-10-20T13:14:38Z) - Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [71.04084063541777]
ランク付けのためのカウンターファクトラーニングはIRコミュニティで広く注目を集めている。
モデルは、ユーザの振る舞いの仮定が正しく、確率推定が正確であるときに理論的に非バイアス化される。
それらの有効性は通常シミュレーションベースの実験を通じて実証的に評価されるが、これは広く利用可能な大規模で実際のクリックログが不足しているためである。
論文 参考訳(メタデータ) (2024-04-04T10:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。