論文の概要: Validated Hypotheses as a Lens for Human-Likeness Evaluation in AI Agents

• arxiv url: http://arxiv.org/abs/2605.15473v1
• Date: Thu, 14 May 2026 23:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.126717
• Title: Validated Hypotheses as a Lens for Human-Likeness Evaluation in AI Agents
• Title（参考訳）: AIエージェントの人間類似性評価のためのレンズとしての仮説の検証
• Authors: Xuan Liu, HaoYang Shang, Zizhang Liu, Yuanjun Feng, Guankai Zhai, Yunze Xiao, Yiwen Tu, Haojian Jin,
• Abstract要約: 我々は、このレンズをHumanStudy-Benchというオープンなプラットフォームを通じて操作し、公開されている人物体の研究を再利用可能なシミュレーション環境に変える。 独立複製により仮説をしっかりと確立した12種類の研究の初期のスイートをキュレートし, エージェント設計を4つのモデルで評価した。 エージェント設計はモデルスケールよりもアライメントに影響を及ぼすが,その効果はモノトニックではない。
• 参考スコア（独自算出の注目度）: 9.035161362850369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose using validated behavioral hypotheses as a lens for evaluating human-likeness in LLM-based agents. Our key idea is simple: If an agent is human-like, a population of such agents should reach the same inferential conclusion as the human population when run through the same experiment. Decades of social science have produced many such validated findings, each anchored to concrete experimental protocols and robustly established through independent replication. This yields an evaluation that is objective, decomposable, and scalable. We operationalize this lens through HumanStudy-Bench, an open platform that turns published human-subject studies into reusable simulation environments and administers the evaluation to configurable agents. It scores agent-human alignment on two metrics: the Probability Alignment Score (PAS) for inferential agreement and the Effect Consistency Score (ECS) for effect-size agreement. We curated an initial suite of 12 studies whose hypotheses are robustly established through independent replication, and evaluated 10 models under 4 agent designs. Results show that agent responses polarize between full replication and complete failure; agent design influences alignment more than model scale, but its effect is non-monotonic.
• Abstract（参考訳）: LLMをベースとしたエージェントにおいて、人間の類似性を評価するためのレンズとして、検証された行動仮説を用いる。 エージェントが人間に似ている場合、そのようなエージェントの集団は、同じ実験を経た時に、人間の集団と同じ推論結果に達するべきです。 社会科学の数十年は、実証された多くの発見を生み出しており、それぞれが具体的な実験プロトコルに固定され、独立した複製を通じてしっかりと確立されている。 これにより、客観的で、分解可能で、スケーラブルな評価が得られます。 我々は、このレンズをHumanStudy-Benchを通して操作する。これは、公開された人体研究を再利用可能なシミュレーション環境に変え、設定可能なエージェントの評価を管理するオープンプラットフォームである。 確率アライメントスコア(Probability Alignment Score, PAS)とエフェクトサイズ合意(エフェクト・コンシスタンススコア, エフェクト・コンシスタンススコア, エフェクト・コンフェクト・スコア, エフェクト・コンフェクト・スコア, エフェクト・コンフェクト・コンフェクト・スコア, エフェクト・コンフェクト・スコア, エフェクト・コンフェクト・コンフェクト・スコア, エフェクト・コンフィスタンス・スコア, エフェクト・コンフィスタンス・スコア, エフェクト・・・・コンフィスタンス・スコア, エフェクト・・・・・・ 独立複製により仮説をしっかりと確立した12種類の研究の初期のスイートをキュレートし, エージェント設計を4つのモデルで評価した。 エージェント設計はモデルスケールよりもアライメントに影響を及ぼすが,その効果はモノトニックではない。

関連論文リスト

• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• HumanStudy-Bench: Towards AI Agent Design for Participant Simulation [11.906370453952265]
  大規模言語モデル (LLMs) は、社会科学実験のシミュレーション参加者としてますます使われている。 HUMANSTUDY-BENCHは、LLMベースのエージェントを編成し、人体実験を再構築するベンチマークおよび実行エンジンである。 科学的推論のレベルでの忠実度を評価するために,人間とエージェントの行動がどの程度一致しているかを定量化するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2026-01-31T12:07:42Z)
• Can Finetuing LLMs on Small Human Samples Increase Heterogeneity, Alignment, and Belief-Action Coherence? [9.310571879281186]
  大規模言語モデル(LLM)は、調査および実験研究における人間の参加者の代用として機能する。 LLMは、しばしば実際の人間の行動と一致せず、限られた多様性を示し、少数派のサブグループに対する体系的なミスアライメントを示し、グループ内でのばらつきが不十分であり、言明された信念と行動の相違を示す。 本研究では、パイロットスタディから得られるような、人間の調査データのごく一部を微調整することで、これらの問題を緩和し、現実的なシミュレーション結果が得られるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-26T09:50:42Z)
• How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
  我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。 エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。 私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
  論文  参考訳（メタデータ） (2025-10-10T19:04:28Z)
• Are LLM Agents Behaviorally Coherent? Latent Profiles for Social Simulation [18.70850695450292]
  LLM(Large Language Models)は、人工エージェントが人間-対象研究の実際の参加者の代用として機能するという考えを後押ししている。 エージェントは内部の整合性を維持し、異なる実験条件下での調査において同様の行動を維持するか? 本研究では,エージェントの会話行動が,内部状態から期待するものと一致しているかを検討する。
  論文  参考訳（メタデータ） (2025-09-03T21:55:29Z)
• A Computational Theory for Efficient Mini Agent Evaluation with Causal Guarantees [0.0]
  無限エージェントに対する与えられた評価モデルの一般化誤差と一般化因果効果誤差の上限を証明した。 また, 提案手法の効率性, 推定因果効果の整合性, 評価指標の推算による評価を行う。
  論文  参考訳（メタデータ） (2025-03-27T04:00:49Z)
• Generative Agent Simulations of 1,000 People [56.82159813294894]
  本稿では,1,052人の実人の態度と行動をシミュレートする新しいエージェントアーキテクチャを提案する。 生成エージェントは一般社会調査の参加者の回答を85%の精度で再現する。 我々のアーキテクチャは、人種的およびイデオロギー的グループにおける正確さのバイアスを、人口統計学的記述のエージェントと比較して低減する。
  論文  参考訳（メタデータ） (2024-11-15T11:14:34Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。