論文の概要: (Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable

• arxiv url: http://arxiv.org/abs/2606.12848v1
• Date: Thu, 11 Jun 2026 03:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.560153
• Title: (Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable
• Title（参考訳）: (Human)Attention Is (Still) All You Need: Human OversightはAIを活用した社会科学を信頼できるものにする
• Authors: Chen Zhu, Xiaolu Wang, Weilong Zhang,
• Abstract要約: 我々は、AI支援研究の信頼性は、モデル能力だけでなく、人間と機械の間で認知労働がどのように構成されているかにもかかっていると論じる。 我々は,この問題を,事前コミット,意思決定シーケンシング,説明責任,注意配分に基づく意思決定アーキテクチャであるHLER(Human-in-the-Loop Economic Research)を通じて研究する。
• 参考スコア（独自算出の注目度）: 15.442870614597451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for tasks once reserved for trained researchers, including hypothesis generation, specification choice, and drafting conclusions. We argue that the reliability of AI-assisted research depends not only on model capability, but also on how cognitive labour is structured between humans and machines. We study this problem through Human-in-the-Loop Economic Research (HLER), a decision architecture based on pre-commitment, decision sequencing, accountability, and attention allocation. In a pre-specified 2*4 factorial experiment with 280 complete research runs across four datasets, an unconstrained multi-agent baseline produced critical failures in 72% of runs. Using the same underlying model, the same agent decomposition, and identical prompts for the shared reasoning agents, HLER reduced the failure rate to 16% by imposing three architectural commitments: LLMs reason but do not execute data work, data and estimation are handled deterministically, and three human decision gates bind the workflow. Fisher's exact test rejects equality of failure rates at p<0.001. Reliability gains were largest on the least publicly represented dataset, a Qing-dynasty population register, consistent with a task-based production model with Frechet-distributed output quality. An 80-run ablation suggests that deterministic computation and human gates contribute independently, with exploratory evidence of complementarity. We interpret HLER as a research harness rather than an autonomous AI scientist: it sharply reduces failures, makes residual weaknesses more visible, and prevents unreliable claims from being advanced as publication-ready outputs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、仮説生成、仕様選択、起草結論など、かつては訓練された研究者に予約されていたタスクに、ますます使われている。 我々は、AI支援研究の信頼性は、モデル能力だけでなく、人間と機械の間で認知労働がどのように構成されているかにもかかっていると論じる。 我々は,この問題を,事前コミット,意思決定シーケンシング,説明責任,注意配分に基づく意思決定アーキテクチャであるHLER(Human-in-the-Loop Economic Research)を通じて研究する。 280の完全な研究を4つのデータセットで実施する2*4因子実験では、制約のないマルチエージェントベースラインが72%のランで致命的な障害を発生させた。 HLERは、同じモデル、同じエージェントの分解、共有推論エージェントの同一のプロンプトを使用して、3つのアーキテクチャのコミットメントによって失敗率を16%に削減する。 フィッシャーの正確なテストは、p<0.001における失敗率の等式を拒絶する。 信頼性の向上は、最も公開されていないデータセットであるQing-dynasty人口レジスタ上で最大であり、Frechet分散出力品質のタスクベース生産モデルと一致した。 80回のアブレーションは、決定論的計算と人間のゲートが独立して寄与し、相補性の探索的な証拠であることを示している。 私たちはHLERを、自律的なAI科学者というよりも、研究のハーネスとして解釈しています。

関連論文リスト

• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• AI scientists produce results without reasoning scientifically [3.100302590436282]
  大規模言語モデル(LLM)ベースのシステムは、科学的研究を自律的に行うためにますます多くデプロイされている。 そこで本研究では,8つの領域にまたがるLSMに基づく科学的エージェントの評価を行い,その実行と仮説に基づく調査を行った。
  論文  参考訳（メタデータ） (2026-04-20T20:23:42Z)
• Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys [0.0]
  大規模言語モデルは低コストで総合的なサーベイ応答を生成することができるが、その精度は質問によって予測不可能に変化する。 各タスクに安価なLCM予測が利用できる場合, 評価タスク全体にわたって, ヒトの定型予算を割り当てる設計問題について検討する。 まず、予測パワー推論に基づいて、推定器のばらつきがヒトのサンプルサイズでどれだけ早く減少するかを判断する、疑問特異的な補正の難しさを特徴付ける。 第2に,LLMの信頼性が低いタスクに対して,より人間的なラベルを指示するクローズドフォームの最適アロケーションルールを導出する。
  論文  参考訳（メタデータ） (2026-04-19T05:45:37Z)
• From Experiments to Expertise: Scientific Knowledge Consolidation for AI-Driven Computational Research [3.7193230342956056]
  本稿では、AI駆動計算科学のためのオープンソースのプラットフォームQMatSuiteを紹介する。 QMatSuiteは、発見結果を保存し、新しい計算の前に知識を検索し、専用のリフレクションセッションで誤った結果を修正します。 6段階の量子力学シミュレーションワークフローのベンチマークでは、蓄積された知識は推論オーバーヘッドを67%削減し、精度を47%から3%に改善する。
  論文  参考訳（メタデータ） (2026-03-13T17:25:47Z)
• HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery [15.29303145822579]
  本稿では,実証研究自動化を支援するマルチエージェントアーキテクチャであるHLER(Human-in-the-Loop Economic Research)を紹介する。 このシステムは、データ監査、データプロファイリング、仮説生成、計量分析、原稿起草、自動レビューのための特殊エージェントを編成する。 実験の結果、データセットを意識した仮説生成は87%のケースで実現可能な研究質問を生成する一方、完全な実証的な原稿は1ラン当たり0.8～1.5ドルの平均APIコストで作成できることがわかった。
  論文  参考訳（メタデータ） (2026-03-08T03:40:34Z)
• On the Influence of Artificial Intelligence on Human Problem-Solving: Empirical Insights for the Third Wave in a Multinational Longitudinal Pilot Study [0.0]
  本稿では,問題解決における人間とAIの連携の進化パラダイムについて考察する。 以上の結果から,ハイブリッド型問題解決文化の確立が示唆された。 この研究は、教育と技術的介入は検証の足場を優先しなければならないと結論付けている。
  論文  参考訳（メタデータ） (2025-11-13T10:20:07Z)
• Cascaded Language Models for Cost-effective Human-AI Decision-Making [52.81324217423194]
  複数の専門分野にまたがってタスクを適応的に委譲するLLM決定フレームワークを提案する。 まず、deferral Policyは、ベースモデルの回答を受け入れるか、あるいは大きなモデルでそれを再生するかを決定する。 第2に、禁忌ポリシーは、カスケードモデル応答が十分に確実であるか、または人間の介入を必要とするかを判定する。
  論文  参考訳（メタデータ） (2025-06-13T15:36:22Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。