論文の概要: AI Contextual Measurement for Recovering Individual and Group-Level Effects: Validation Against Survey Measures and an Occupational Application
- arxiv url: http://arxiv.org/abs/2609.02821v1
- Date: Wed, 02 Sep 2026 17:09:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.475587
- Title: AI Contextual Measurement for Recovering Individual and Group-Level Effects: Validation Against Survey Measures and an Occupational Application
- Title(参考訳): 個人レベルとグループレベル効果の回復のためのAIコンテキスト計測:調査対策に対する検証と業務応用
- Abstract要約: AICOMEは、AI由来の応答レベル尺度が文脈モデルにおける個人レベルとグループレベルの効果を回復できるかどうかを評価するためのフレームワークである。
我々は、2022年の中国家族パネル研究(CFPS)を用いて、職業が経験的なグループ構造を提供する枠組みを検証した。
以上の結果から,リッチな応答性やジョブ特性が利用できる場合, 観測変数に含まれる文脈モデル情報の多くをAIが回収できることが示唆された。
- 参考スコア(独自算出の注目度): 3.4545547482062378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Researchers increasingly use artificial intelligence to construct measures of social, organizational, and occupational characteristics that are absent from conventional surveys. We propose AICOME, AI COntextual MEasurement, a framework for evaluating whether AI-derived respondent-level measures can recover individual and group-level effects in contextual models. The key idea is that an AI measure constructed at the respondent level can be used to derive its group-level aggregate and its individual deviation, allowing researchers to estimate both between-group and within-group associations rather than treating AI measurement as response prediction alone. We validate the framework using the 2022 China Family Panel Studies (CFPS), where occupations provide the empirical grouping structure and several job-related survey variables provide validation benchmarks. For computer use, foreign-language use, weekly hours, and management responsibilities, we compare survey measures with AI-derived measures in response-level, model-level, contextual, and boundary-condition validations. The results show that AI contextual measurement can recover much of the contextual-model information contained in observed survey variables when rich respondent and job characteristics are available. Weekly hours provides the strongest validation case, with AI-derived measures reproducing the large negative between- and within-occupation associations with satisfaction observed in CFPS. The framework also identifies clear boundary conditions: performance deteriorates when information is restricted to occupation and basic demographics, and recovery is weaker when several related concepts are treated as simultaneously unobserved. The findings suggest that AICOME is most useful for recovering a limited number of theoretically important constructs from rich existing datasets.
- Abstract(参考訳): 研究者たちは人工知能を使って、従来の調査から欠落している社会的、組織的、職業的特性の尺度を構築している。
AICOME(AI Contextual Measurement)は,AI由来の応答レベル尺度が文脈モデルにおける個人レベルとグループレベルの効果を回復できるかどうかを評価するためのフレームワークである。
鍵となる考え方は、応答レベルに構築されたAI測度は、グループレベルの集計とその個人差を導出するために利用でき、研究者はAI測度を応答予測としてのみ扱うのではなく、グループとグループ内の関連を推定できるということである。
我々は、2022年の中国家族パネル研究(CFPS)を用いて、経験的グループ構造を提供する職業と、いくつかの職種関連調査変数が検証ベンチマークを提供する枠組みを検証した。
コンピュータ利用,外国語使用,週毎の時間,管理責任については,回答レベル,モデルレベル,コンテキスト,境界条件の検証において,AIに基づく尺度と比較する。
以上の結果から,AIのコンテキスト計測は,調査変数に含まれるコンテキストモデル情報の多くを,リッチ応答とジョブ特性が利用できる場合に回収できることがわかった。
毎週の時間は、CFPSで観察された満足度と大きな負の相関関係を再現するAIによる測定によって、最強の検証ケースを提供する。
このフレームワークはまた明確な境界条件も識別する: 情報が職業や人口統計に制限された場合のパフォーマンスは悪化し、いくつかの関連する概念が同時に観測されていない場合、回復は弱まる。
その結果、AICOMEは、豊富な既存のデータセットから限られた数の理論的に重要な構造を復元するのに最も有用であることが示唆された。
関連論文リスト
- Defining AI Agents: A Compendium of Criteria, Metrics, and Benchmarks [0.19336815376402716]
人工知能におけるエージェントという用語は、AIエージェントの評価、比較、研究を複雑にする標準的な定義を欠いている。
このレビューはエージェント評価の現在の状況について構造化された説明を提供し、確立されたアプローチと、評価が限定的あるいは一貫性のない領域の両方を強調している。
また,このレビューから得られた評価手法を整理し,拡張する公開デジタルリソースであるAgent Compendiumについても紹介する。
論文 参考訳(メタデータ) (2026-09-10T02:50:29Z) - Factors Impacting Developer Efficiency: Results from an Adaptive Longitudinal Study [0.8373057326694192]
本研究では,コンサルティング・プロフェッショナル開発における開発者の認識効率を阻害する要因について検討した。
そこで我々は,Adaptive Developer Efficiency Monitoring Method (ADEMM) を27名の外部ソフトウェア開発者に適用した混合手法のケーススタディを行った。
論文 参考訳(メタデータ) (2026-08-17T13:53:03Z) - Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。
我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
論文 参考訳(メタデータ) (2026-03-20T16:27:17Z) - SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。
実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。
回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
論文 参考訳(メタデータ) (2025-11-29T09:18:39Z) - How AI Forecasts AI Jobs: Benchmarking LLM Predictions of Labor Market Changes [5.848712585343904]
本稿では,大規模言語モデル(LLM)が仕事需要の変化をどの程度予測できるかを評価するためのベンチマークを紹介する。
当社のベンチマークでは、米国におけるセクターレベルの求職率の高頻度指標と、AIの採用による職業変化のグローバルデータセットの2つのデータセットを組み合わせています。
その結果、構造化タスクは予測安定性を継続的に改善し、ペルソナプロンプトは短期的な傾向に有利であることがわかった。
論文 参考訳(メタデータ) (2025-10-27T14:08:27Z) - Technical Report: Facilitating the Adoption of Causal Inference Methods Through LLM-Empowered Co-Pilot [44.336297829718795]
CATE-Bは,大規模言語モデル(LLM)をエージェントフレームワーク内で使用して,治療効果推定を通じてユーザを誘導する,オープンソースのコパイロットシステムである。
CATE-B は (i) 因果発見と LLM に基づくエッジオリエンテーションによる構造因果モデルの構築、 (ii) 因果構造とデータセット特性に適合した適切な回帰方法を選択することによるロバストな調整セットの同定を支援する。
論文 参考訳(メタデータ) (2025-08-14T12:20:51Z) - LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。
本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。
実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文 参考訳(メタデータ) (2025-01-07T08:49:04Z) - Evaluating the Efficacy of Foundational Models: Advancing Benchmarking Practices to Enhance Fine-Tuning Decision-Making [1.3812010983144802]
本研究は,サイバーセキュリティ,医療,金融など多種多様な分野にわたる言語モデル(LLM)を評価する。
その結果,モデルサイズと推論に用いるプロンプトの種類は応答長と品質に大きく影響した。
論文 参考訳(メタデータ) (2024-06-25T20:52:31Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。
本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。
理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
論文 参考訳(メタデータ) (2022-01-31T20:58:47Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳(メタデータ) (2021-10-19T16:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。