論文の概要: Artificial Societies Benchmark: A Validation Framework for Synthetic Research

• arxiv url: http://arxiv.org/abs/2609.30030v2
• Date: Thu, 01 Oct 2026 07:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.3367
• Title: Artificial Societies Benchmark: A Validation Framework for Synthetic Research
• Title（参考訳）: 人工社会ベンチマーク: 合成研究のための検証フレームワーク
• Abstract要約: 総合的な調査は、人々がどう違うのかを誤解しながら平均的な回答を再現することができる。 我々は,人工社会ベンチマークを導入し,人工人口が意図した分析を支援するかどうかを研究者が判断する手助けをする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A synthetic survey can reproduce the average answer while misrepresenting how people differ, how their answers relate to one another, or how they respond to changes in conditions. We introduce the Artificial Societies Benchmark to help researchers assess whether synthetic populations support their intended analyses. The framework combines eleven tests across internal, construct, and external validity, drawing on twenty human sources and comparing nine language models. It connects each research use to the evidence it requires and tests how results change with the information we supply about respondents. Importantly, strong performance in one domain does not establish fidelity in the others. Models often answer too consistently, compress response scales, and alter relationships between traits whilst richer profiles improve prediction for some models and worsen it for others. The resulting scorecard helps researchers identify which aspects of a synthetic population can support their analysis and where researchers need further human evidence.
• Abstract（参考訳）: 人工的な調査は、平均的な回答を再現すると同時に、人々がどう違うか、どのように答えが互いに関連しているか、あるいは条件の変化にどのように反応するかを誤った表現で表現することができる。 我々は,人工社会ベンチマークを導入し,人工人口が意図した分析を支援するかどうかを研究者が判断する手助けをする。 このフレームワークは、内部、構成、外部の妥当性に関する11のテストを組み合わせて、20の人的ソースを描画し、9つの言語モデルを比較する。 それぞれの研究の使い方を、必要な証拠と結びつけて、その結果が回答者に関する情報とどのように変わるかをテストする。 重要なことは、あるドメインにおける強いパフォーマンスは、他のドメインにおける忠実性を確立しません。 モデルはしばしば、一貫性があり、応答スケールを圧縮し、特性間の関係を変化させる一方で、よりリッチなプロファイルはモデルの予測を改善し、それを悪化させる。 その結果得られたスコアカードは、合成個体群のどの側面が彼らの分析を支えられるか、そして研究者がさらなる人間の証拠を必要とするかを特定するのに役立ちます。

関連論文リスト

• Personalized Auto-Research: Towards a True AI Co-Scientist [90.01790420664169]
  研究目標を考えると、最先端のシステムは研究者に依存しないままである。 小説、価値、実現可能なものは研究者によって異なる。 本稿では,検索,仮説探索,実験,執筆,レビューを通じて,グラフグラウンドの研究者コンテキストをスレッド化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-14T20:43:27Z)
• Multi-dimensional Bias in Modeling Multi-dimensional Preferences: Evaluating the Ability of Synthetic Agents to Replace Human Participants in Conjoint Experiments [3.5330809691508924]
  本稿では, 合成エージェントが, 多次元の人間の嗜好パターンを再現できるかどうかを考察する。 共役研究を再現し、合成エージェントが生成した結果を3次元の人間のデータと比較する。
  論文  参考訳（メタデータ） (2026-08-13T13:44:07Z)
• HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
  我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。 HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。 報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-27T23:50:46Z)
• Valid Inference with Synthetic Data via Task Exchangeability [10.492831277106403]
  本研究では, 有効性保証を伴う科学研究における合成データの利用原理を提案する。 重要な洞察は、タスク交換可能性と呼ばれる新しい技術的条件です。 タスク交換可能性の下で有効な推論法を開発する。
  論文  参考訳（メタデータ） (2026-06-11T17:41:09Z)
• Stochastic Parrots or Singing in Harmony? Testing Five Leading LLMs for their Ability to Replicate a Human Survey with Synthetic Data [0.0]
  本稿では,シリコンバレーのプログラマ420名を対象にした人間対応サーベイと,実際のシークエンサーをシミュレートする合成サーベイデータの比較を行った。 以上の結果から,AIエージェントが予想以上に再現性と調和性を重視した技術的に妥当な結果を生み出したことが判明した。 本研究は, 厳密な調査手法の代わりに, より信頼性の高い前・後調査機器として, 総合的な調査に基づく研究を行なわなければならないと結論付けた。
  論文  参考訳（メタデータ） (2026-02-10T09:50:33Z)
• SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
  我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。 集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。 収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
  論文  参考訳（メタデータ） (2025-07-01T17:51:59Z)
• What Makes a Good Natural Language Prompt? [72.3282960118995]
  我々は,2022年から2025年にかけて,NLPおよびAIカンファレンスを主導する150以上のプロンプト関連論文を対象としたメタ分析調査を実施している。 本研究では,6次元に分類した21の特性を含む,迅速な品質評価のための特性・人間中心のフレームワークを提案する。 次に、複数プロパティのプロンプト強化を実証的に検討し、単一プロパティのプロンプトが最大の影響を与える場合が多いことを観察する。
  論文  参考訳（メタデータ） (2025-06-07T23:19:27Z)
• Are Information Retrieval Approaches Good at Harmonising Longitudinal Survey Questions in Social Science? [2.769064123193329]
  本稿では,質問と回答の選択肢にまたがる概念等価性を識別する新しい情報検索タスクを提案する。 本稿では1946-2020年の調査データセットにおける教師なしアプローチについて検討する。 我々は、IR特化ニューラルモデルが、他のアプローチと相容れない性能で最高の総合的な性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-04-29T12:00:33Z)
• MindGYM: What Matters in Question Synthesis for Thinking-Centric Fine-Tuning? [51.85759493254735]
  MindGYMは、質問合成のための構造化されスケーラブルなフレームワークである。 モデル合成の振る舞いを形作るために、高レベルの推論目的を注入する。 より深い推論のために、QAシードに基づいてより複雑なマルチホップ質問を構成する。
  論文  参考訳（メタデータ） (2025-03-12T16:03:03Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。