論文の概要: Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use
- arxiv url: http://arxiv.org/abs/2609.15624v1
- Date: Mon, 14 Sep 2026 14:16:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.433357
- Title: Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use
- Title（参考訳）: AIリテラシーを超えて: コンピテント生成AI利用対策の構造化されたレビューと探索的メタ分析
- Abstract要約: 職場における有能な生成AIの使用を評価する研究者は、自己報告、客観的テスト、および監視と信頼の尺度を選択する必要がある。
筆者らは24の焦点実験論文の構造化, 種別レビューを行った。
エージェントスコープ,パーミッション,リカバリ,状態分離,独立レビュー,エビデンスに基づくクロージャの完全な組み合わせを検査する,個別レベルの検証機器は検出されなかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Researchers assessing competent generative-AI use at work must choose among self-reports, objective tests, and measures of oversight and reliance. We conducted a structured, seeded review of 24 focal empirical publications, starting from the 2024 COSMIN-based review and adding a targeted update through 17 August 2026. We grouped the measures into four domains: knowledge and use, epistemic oversight, reliance calibration, and operational control of tool-using agents. In an exploratory meta-analysis, we pooled three direct subjective-objective correlations from one research program (REML r = .055; Hartung-Knapp 95% CI [-.047, .156]; combined reported N = 2,765). We could not resolve a discrepancy between the largest study's reported correlation and p-value, leaving its weight uncertain. Adding a synthetic mean of 12 cross-factor correlations from a fourth study gave r = .079 (95% CI [-.025, .181]). This sensitivity analysis concerns a broader comparison. From this small evidence base, we cannot establish a population correlation, validate workplace cutoffs, or justify substituting self-ratings for performance scores. We identified tests of foundation knowledge (AICOS-S and GLAT) and measures of verification, reliance, trust, and dependency. We found no validated individual-level instrument in the focal corpus that tests the full combination of agent scope, permissions, recovery, state isolation, independent review, and evidence-based closure; some cover subsets. We propose a four-layer workplace battery with non-compensatory decision rules, but have not tested its thresholds or whether it improves on other assessment approaches.
- Abstract（参考訳）: 職場における有能な生成AIの使用を評価する研究者は、自己報告、客観的テスト、および監視と信頼の尺度を選択する必要がある。
COSMINをベースとした2024年8月17日から8月17日までの2024年8月1日までに,24件の共用実験論文の構造化・種別レビューを行った。
我々は,その対策を,知識と使用,疫学の監視,信頼性の校正,ツール使用エージェントの操作管理の4つの領域に分類した。
探索メタ分析では,1つの研究プログラム(REML r = .055, Hartung-Knapp 95% CI [-.047, .156], 報告N = 2,765)から3つの直接主観的対象相関を抽出した。
最大の研究で報告された相関関係とp値の相違は解決できず、体重は不確定のままでした。
第4の研究から12のクロスファクタ相関の合成平均を加えると、r = 079(95% CI [-.025, .181])となる。
この感度分析は、より広範な比較に関するものである。
この小さなエビデンスベースから、人口相関を確立したり、職場のカットオフを評価したり、パフォーマンススコアの自己評価の代替を正当化することはできません。
基礎知識(AICOS-SとGLAT)の検証,信頼性,信頼度,依存度を測定した。
エージェントスコープ,パーミッション,リカバリ,状態分離,独立レビュー,エビデンスに基づくクロージャの完全な組み合わせを検査する個別レベルの機器は検出されなかった。
非補償的な意思決定ルールを持つ4層式職場用電池を提案するが、しきい値のテストや他の評価手法の改善は行っていない。
関連論文リスト
- RISED: A Pre-Deployment Safety Evaluation Framework for Clinical AI Decision-Support Systems [0.0]
本稿では,信頼性,指数性,感度,等価性,展開性に関する5次元事前デプロイ評価を提案する。
RISEDはオープンソースのPythonパッケージとしてリリースされ、既存の臨床AIレポート標準の量的検証を提供する。
論文 参考訳（メタデータ） (2026-05-13T02:17:13Z) - MedSkillAudit: A Domain-Specific Audit Framework for Medical Research Agent Skills [7.84691221924879]
本研究は,医学研究専門職を対象としたドメイン固有監査フレームワークを開発し,予備評価した。
5つの医学研究カテゴリーにまたがって75のスキルを評価した(15。
コンセンサスの平均スコアは72.4(SD = 13.0)、スキルの57.3%がリミテッド・リリースの閾値を下回った。
論文 参考訳（メタデータ） (2026-04-22T11:01:48Z) - Eligibility-Aware Evidence Synthesis: An Agentic Framework for Clinical Trial Meta-Analysis [49.83108591873481]
EligMetaはエージェントフレームワークで、自動トライアル発見と、資格を意識したメタ分析を統合する。
フレームワークは、目標トライアル間の人口アライメントを反映した類似性に基づく研究重量を計算し、適性基準を構造化する。
論文 参考訳（メタデータ） (2026-04-03T03:18:50Z) - Can Large Language Models Detect Methodological Flaws? Evidence from Gesture Recognition for UAV-Based Rescue Operation Based on Deep Learning [0.0]
我々は、人間中心の小さなデータセット上で、ほぼ完璧な精度を報告しているジェスチャー認識紙を分析した。
評価プロトコルは、非独立的なトレーニングとテストの分割により、主観レベルのデータ漏洩と整合性を示す。
次に、この欠陥が6つの最先端LCMによって独立に検出できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-03-23T11:39:16Z) - Nonstandard Errors in AI Agents [6.890249567932368]
我々は、現在最先端のAIコーディングエージェントが、同じデータと研究質問を与えられた場合、同じ経験的結果をもたらすかどうかを調査する。
我々は,AIエージェントが,分析選択におけるエージェント対エージェントのばらつきから不確実な,大きさのテクスチノンスタンダードエラー(NSE)を示すことを発見した。
これらの発見は、自動政策評価と実証研究におけるAIの利用の増加に影響を及ぼす。
論文 参考訳（メタデータ） (2026-03-17T16:21:22Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Automated Rubrics for Reliable Evaluation of Medical Dialogue Systems [19.880569341968023]
大規模言語モデル(LLM)は、幻覚や安全でない提案が患者の安全に直接的なリスクをもたらすという、臨床的な意思決定支援にますます利用されている。
本稿では,インスタンス固有の評価ルーリックの自動生成を目的とした検索拡張型マルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-21T16:40:41Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。
自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。
意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
論文 参考訳（メタデータ） (2024-11-13T01:12:35Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳（メタデータ） (2022-07-19T12:52:33Z) - Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。
本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。
理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
論文 参考訳（メタデータ） (2022-01-31T20:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。