論文の概要: MiroBench: Benchmarking Realism in Agentic Simulation of Real-world Discussions
- arxiv url: http://arxiv.org/abs/2606.14715v1
- Date: Sun, 10 May 2026 04:03:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.892993
- Title: MiroBench: Benchmarking Realism in Agentic Simulation of Real-world Discussions
- Title（参考訳）: MiroBench: エージェントシミュレーションにおける現実主義のベンチマーク
- Abstract要約: 実際のRedditスレッド4,292から構築されたRedditディスカッションシミュレーションのベンチマークであるMiroBenchを紹介した。
ミロベンチは統計テストを用いて、反復と意味的均一性、物語の内容、毒性と攻撃性、構造的複雑さの4つの主要な側面で生成された議論と実際の議論を比較している。
- 参考スコア（独自算出の注目度）: 20.708736547926286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents are increasingly used to simulate real world interactions, but it remains unclear whether simulated behaviors preserve the content patterns and interaction dynamics of real human behaviors. Existing evaluations remain fragmented, which makes it difficult to compare systems or measure progress. In this paper, we focus on Reddit discussions as a concrete first step toward evaluating real-world social simulation. Reddit threads provide public, topic-grounded, multi-party interactions where people share experiences, debate, seek advice, express emotion, and collectively respond to products, events, and social issues. These discussions offer an observable window into broader social behavior, making them a useful setting for testing whether LLM agents can reproduce not only fluent text, but also the distributional patterns and interaction dynamics of real online communities. We introduce MiroBench, a benchmark for Reddit discussion simulation built from 4,292 real Reddit threads. MiroBench uses statistical tests to compare generated and real discussions across four major aspects: repetition and semantic uniformity, narrative content, toxicity and aggression, and structural complexity. Experiments across five domains and five models show that current simulators remain distributionally mismatched with real Reddit threads, while a lightweight prompt-based improvement procedure provides only limited gains. MiroBench offers a concrete benchmark for measuring, diagnosing, and improving realism in LLM-based social simulation.
- Abstract（参考訳）: LLMエージェントは、現実世界の相互作用をシミュレートするためにますます使われているが、シミュレーションされた動作が実際の人間の行動のコンテンツパターンと相互作用のダイナミクスを保存するかどうかは不明である。
既存の評価は断片化され続けており、システムの比較や進捗測定が難しい。
本稿では,実世界の社会シミュレーションを評価するための具体的な第一歩として,Redditの議論に焦点を当てる。
Redditスレッドは、人々が経験を共有し、議論し、アドバイスを求め、感情を表現し、製品、イベント、社会問題にまとめて反応する、公開、トピックベース、多人数インタラクションを提供する。
これらの議論は、より広い社会的行動の観察可能な窓を提供するため、LLMエージェントが流動的なテキストだけでなく、実際のオンラインコミュニティの分布パターンや相互作用のダイナミクスを再現できるかどうかをテストするのに役立つ。
我々は、実際のRedditスレッド4,292から構築されたRedditディスカッションシミュレーションのベンチマークであるMiroBenchを紹介した。
ミロベンチは統計テストを用いて、反復と意味的均一性、物語の内容、毒性と攻撃性、構造的複雑さの4つの主要な側面で生成された議論と実際の議論を比較している。
5つのドメインと5つのモデルにわたる実験は、現在のシミュレータが実際のRedditスレッドと分散的に不一致であることを示し、軽量なプロンプトベースの改善手順は限られた利益しか提供しないことを示している。
MiroBenchは、LLMベースの社会シミュレーションにおける現実性の測定、診断、改善のための具体的なベンチマークを提供する。
関連論文リスト
- RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies [121.35821705538768]
汎用的なロボット操作ポリシーは急速に進歩しているが、既存のベンチマークは、その能力を体系的に評価することに制限されている。
本稿では,汎用ロボット操作ポリシーの総合的な評価のための統一型sim-and-realベンチマークであるRoboDojoを紹介する。
RoboDojoには42のシミュレーションタスクと18の現実世界タスクが含まれており、多様な補完的な操作機能を備えている。
論文 参考訳（メタデータ） (2026-07-05T17:58:02Z) - Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions [62.99524765341952]
ソーシャルメディアのユーザーをシミュレートするために、大規模な言語モデルがますます使われている。
LLMに基づくスタンスシミュレーションを監査するための枠組みとして,反実的文脈修正について検討する。
その結果、テキストのみの戦略とマルチモーダル戦略の両方において、効果的かつ堅牢なスタンス遷移が明らかとなった。
論文 参考訳（メタデータ） (2026-06-04T17:41:54Z) - Evaluating the Realism of LLM-powered Social Agents: A Case Study of Reactions to Spanish Online News [41.06495284224409]
LLMが生み出すスペインのオンラインニュースに対する反応が、実聴者の会話の可測性を再現するかどうかを評価する。
オフザシェルフモデルは、実際の聴衆の反応には不十分なプロキシです。
可塑性合成反応は、必ずしも公開談話の分布特性を再現するとは限らない。
論文 参考訳（メタデータ） (2026-05-27T15:16:05Z) - Synthetic Users, Real Differences: an Evaluation Framework for User Simulation in Multi-Turn Conversations [12.213851700444136]
本研究では,実践者がリアル対シミュレート対話の分布ビューを把握できる評価フレームワークであるRealsimを提案する。
次に、フレームワークを1Kタスク中心の実際のユーザ-チャットボット対話のキュレートされたデータセットでインスタンス化する。
全体として、シミュレーションされたユーザは、実際のユーザが対話に導入するコミュニケーションの摩擦を捉えるのに苦労する傾向にある。
論文 参考訳（メタデータ） (2026-05-04T14:14:40Z) - HumanLM: Simulating Users with State Alignment Beats Response Imitation [84.89761487596844]
本稿では,実際のユーザを正確に反映したユーザシミュレータを構築する新しいトレーニングフレームワークHumanLMを提案する。
HumanLMは、強化学習を通じて、地道的な応答に一致した自然言語の潜伏状態を生成する。
本研究では,公開データに基づく実ユーザシミュレーションのための総合的なベンチマークであるHumanualを開発する。
論文 参考訳（メタデータ） (2026-02-07T20:26:28Z) - PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
シミュレーションにおける政策評価と環境復元(PolaRiS)の導入
PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。
PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
論文 参考訳（メタデータ） (2025-12-18T18:49:41Z) - SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。
現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。
シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
論文 参考訳（メタデータ） (2025-10-20T13:14:38Z) - Don't Trust Generative Agents to Mimic Communication on Social Networks Unless You Benchmarked their Empirical Realism [1.4250694182758386]
我々は,大規模言語モデルを用いて,ソーシャルネットワーク利用者の行動の再現に重点を置いている。
我々は、英語とドイツ語でユーザ動作を模倣する様々なアプローチを経験的にテストした。
本研究は, シミュレーション部品が装着された環境で測定された経験的現実性によって, 社会シミュレーションを検証すべきであることを示唆している。
論文 参考訳（メタデータ） (2025-06-27T07:32:16Z) - SocioVerse: A World Model for Social Simulation Powered by LLM Agents and A Pool of 10 Million Real-World Users [70.02370111025617]
本稿では,社会シミュレーションのためのエージェント駆動世界モデルであるSocioVerseを紹介する。
私たちのフレームワークは、4つの強力なアライメントコンポーネントと1000万の実際の個人からなるユーザプールを備えています。
SocioVerseは、多様性、信頼性、代表性を確保しつつ、大規模な人口動態を反映できることを示した。
論文 参考訳（メタデータ） (2025-04-14T12:12:52Z) - Is this the real life? Is this just fantasy? The Misleading Success of Simulating Social Interactions With LLMs [24.613282867543244]
大規模言語モデル(LLM)はより豊かな社会シミュレーションを可能にし、様々な社会現象の研究を可能にしている。
最近の研究は、これらのシミュレーションについて、人間とAIエージェントが現実世界で関与する不完全で情報非対称な相互作用と、基本的には異なっています。
論文 参考訳（メタデータ） (2024-03-08T03:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。