論文の概要: Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting
- arxiv url: http://arxiv.org/abs/2607.02467v1
- Date: Thu, 02 Jul 2026 17:34:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.94505
- Title: Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting
- Title(参考訳): 人的資本はベンチマークではなく、予測のハイブリッドインテリジェンスを予測する
- Abstract要約: このパイロットは、人間とAIのコラボレーションの価値は、特定の測定可能な人間の資本形態に依存していることを示している。
結果は予備的ではあるが統計的に堅牢であり、現在準備中で登録済みの複製を動機付けている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Whether pairing people with AI helps or hurts is usually reported as a single average effect. Using a real-money prediction market (Polymarket) as an objective, externally resolved benchmark, this pilot shows that the value of human-AI collaboration depends on a specific, measurable form of human capital. Analyzed at the level of the individual forecaster, hybrid performance is trimodal: most people either deferred to the model (matching it) or used it to rubber-stamp a prior guess (performing worse than the model alone), while a minority engaged in genuine complementary reasoning and reached accuracy matching or even exceeding (i.e., lower error than) the market itself. Collaborative traits (perspective-taking, intellectual humility, and curiosity) rather than raw cognitive ability or model benchmarks, distinguished who reached that mode. The results are preliminary but statistically robust, and motivate a pre-registered replication now in preparation.
- Abstract(参考訳): AIとのペアリングが助けになるか、傷つくかは、通常、単一の平均効果として報告される。
このパイロットは、リアルマネー予測市場(Polymarket)を客観的で外部的に解決されたベンチマークとして使用し、人間とAIのコラボレーションの価値は、特定の、測定可能な人間の資本形式に依存していることを示す。
個々の予測器のレベルで分析すると、ハイブリッドパフォーマンスはトリモーダルであり、ほとんどの人はモデルに遅延した(マッチングする)か、ゴムスタンプに使用し(モデル単独よりも悪い)、少数者は真に補完的な推論を行ない、精度の整合に達したり、市場自体を超過した(すなわち、エラーの少ない)。
生の認知能力やモデルベンチマークよりも、協調的な特性(スペクティブテイク、知的謙虚さ、好奇心)は、誰がそのモードに到達したかを区別した。
結果は予備的ではあるが統計的に堅牢であり、現在準備中で登録済みの複製を動機付けている。
関連論文リスト
- Dynamically Allocating Evaluation Effort for Model Ranking [60.00410111594536]
相関アームを用いたマルチアームバンディット構成において,マルチモデル人体評価をベストアーム識別問題として定式化する。
トップパフォーマンスモデル間の差別を改善することを示します。
これにより、評価はより速く、より安価で、より大規模な競争評価目標に適合する。
論文 参考訳(メタデータ) (2026-08-04T10:33:04Z) - (Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable [15.442870614597451]
我々は、AI支援研究の信頼性は、モデル能力だけでなく、人間と機械の間で認知労働がどのように構成されているかにもかかっていると論じる。
我々は,この問題を,事前コミット,意思決定シーケンシング,説明責任,注意配分に基づく意思決定アーキテクチャであるHLER(Human-in-the-Loop Economic Research)を通じて研究する。
論文 参考訳(メタデータ) (2026-06-11T03:22:24Z) - Empirically evaluating commonsense intelligence in large language models with large-scale human judgments [4.212429064310439]
本稿では,人工知能における常識評価手法を提案する。
モデルの判断と人口の対応を計測する。
私たちのフレームワークは、異なる、しばしば互換性のない、知識の社会的備蓄を持つ人間の集合体にAIモデルを適用することの要求に寄与します。
論文 参考訳(メタデータ) (2025-05-15T13:55:27Z) - More than Marketing? On the Information Value of AI Benchmarks for Practitioners [42.73526862595375]
学術分野では、公開ベンチマークは一般的に研究の進展を捉えるのに適した指標と見なされた。
製品や政策において、ベンチマークは実質的な決定を下すのに不十分であることがしばしば見出された。
有効なベンチマークは、意味のある実世界の評価を提供し、ドメインの専門知識を取り入れ、スコープと目標の透明性を維持するべきであると結論付けています。
論文 参考訳(メタデータ) (2024-12-07T03:35:39Z) - Generative Models, Humans, Predictive Models: Who Is Worse at High-Stakes Decision Making? [10.225573060836478]
大規模な生成モデル(LM)は、これまで予測モデルや人間によって行われていた意思決定タスクに既に使用されている。
我々は、高い意思決定タスクである再帰的予測において、人気のあるLMをテストに投入した。
論文 参考訳(メタデータ) (2024-10-20T19:00:59Z) - Building Socially-Equitable Public Models [32.35090986784889]
パブリックモデルは、さまざまなダウンストリームタスクを予測し、さまざまなAIアプリケーションにおいて重要な役割を果たす。
我々は、下流エージェントの目的を最適化プロセスに統合することを提唱する。
本研究では,不均一なエージェント間の公平性を育成し,パフォーマンスの相違に対処する新しいエクイタブル・オブジェクトを提案する。
論文 参考訳(メタデータ) (2024-06-04T21:27:43Z) - Improved Bayes Risk Can Yield Reduced Social Welfare Under Competition [99.7047087527422]
本研究は,機械学習のスケーリングトレンドの振る舞いを根本的に変化させることを実証する。
データ表現品質の改善により、ユーザ間での全体的な予測精度が低下する、多くの設定が見つかる。
概念レベルでは,各モデルプロジェクタのスケーリング傾向が,社会福祉の下流改善に寄与する必要はないことが示唆された。
論文 参考訳(メタデータ) (2023-06-26T13:06:34Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。