論文の概要: GenAIT: Development and Validation of an Objective Generative AI Literacy Test for High School Students
- arxiv url: http://arxiv.org/abs/2608.25815v1
- Date: Wed, 26 Aug 2026 13:58:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.850245
- Title: GenAIT: Development and Validation of an Objective Generative AI Literacy Test for High School Students
- Title（参考訳）: GenAIT:高校生を対象とした客観的AIリテラシーテストの開発と検証
- Abstract要約: ジェネレーティブAI(GenAI)リテラシーの国際的関心が高まっており、その評価は高校生の間で行われているが、この人口の客観的評価はいまだに未発達である。
本稿では,高校生のGenAIに関する概念的知識を測定する18項目の多重選択テストであるGenAIリテラシーテスト(GenAIT)の反復的開発と検証について報告する。
- 参考スコア（独自算出の注目度）: 0.5735035463793009
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: There is growing international interest in generative AI (GenAI) literacy and its assessment among high school students, but objective assessment in this population remains underdeveloped. This article reports the iterative development and validation of the GenAI Literacy Test (GenAIT), an 18-item multiple-choice test measuring high school students' conceptual knowledge about GenAI, with content spanning technical, practical, and human-impact domains. Expert review of relevance, clarity, and comprehensiveness provided evidence of content validity. In a large-scale survey of 7432 Estonian high school students, we evaluated the psychometric functioning of the Estonian-language GenAIT using confirmatory factor analysis, classical test theory, and item response theory. Results supported approximate unidimensionality, broadly adequate reliability for group-level research (marginal reliability = .72, KR-20 = .69), and good fit of a three-parameter logistic model (RMSEA = .013, TLI = .987, CFI = .990, SRMSR = .021). Measurement precision was sufficient for the majority of students but varied substantially across the latent trait, with lower precision for lower scoring students. GenAIT is therefore more suitable for group-level research than high-stakes individual classification. GenAIT scores were unrelated to perceived usefulness and perceived ease of use, and negatively associated with LLM use frequency, suggesting that frequent use and favorable perceptions of AI should not be treated as proxies for conceptual understanding.
- Abstract（参考訳）: ジェネレーティブAI(GenAI)リテラシーの国際的関心が高まっており、その評価は高校生の間で行われているが、この人口の客観的評価はいまだに未発達である。
本稿では,GenAIリテラシーテスト(GenAIT)の反復的開発と検証について報告する。
関連性、明確性、包括性に関する専門家のレビューは、コンテンツの有効性の証拠となった。
エストニアの高校生7432名を対象に,確認因子分析,古典的テスト理論,項目応答理論を用いて,エストニア語GenAITの心理測定機能の評価を行った。
結果は、近似一次元性、グループレベルの研究に十分な信頼性(線形信頼性 = .72, KR-20 = .69)、および3パラメータロジスティックモデル(RMSEA = .013, TLI = .987, CFI = .990, SRMSR = .021)の適合性を支持した。
測定精度は, 学生の大多数には十分であったが, 潜在特性によって大きく変化し, 低い得点率の学生には低い精度であった。
したがって、GenAITは集団レベルの研究に高い評価の個人分類よりも適している。
GenAITスコアは、有用性や使いやすさの認識とは無関係であり、LLMの使用頻度と負の関係があり、AIの頻繁な使用と好意的な認識は概念理解のためのプロキシとして扱うべきではないことを示唆している。
関連論文リスト
- Is Solving Better Than Evaluating GenAI Solutions? [45.714140455691485]
本研究では,GenAIが生成する解を,中等レベルのアルゴリズムコースで従来の問題解決法と比較する。
調査では,中期成績,最終試験成績,総合成績,授業介入と構造的に整合した試験問題に統計的に有意な差は認められなかった。
学生は、GenAI生成ソリューションの評価において、かなり高い得点を得たが、この局所的な優位性は下流の利得に変換されなかった。
論文 参考訳（メタデータ） (2026-07-30T02:08:29Z) - Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS) [0.0]
学生が生成AI(GenAI)にどのように依存するかは、学習、学術的完全性、教育的平等の中心的な問題となっている。
本研究は,GenAI信頼型尺度(GenAI-RTS:GenAI Reliance Types Scale)を開発した。
論文 参考訳（メタデータ） (2026-07-15T19:04:11Z) - AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
本稿では,AI支援ピアレビューの大規模展開について報告する。
AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
論文 参考訳（メタデータ） (2026-04-15T14:51:07Z) - Exploring Student Perception on Gen AI Adoption in Higher Education: A Descriptive Study [1.978884131103313]
本研究では,学生が生成人工知能(GenAI)をどのように認識し,活用し,評価するかを検討する。
データは、ハートフォードシャー大学の大学院コンピュータサイエンスの学生436名を対象に実施されたアンケートによって収集された。
論文 参考訳（メタデータ） (2026-03-29T17:19:39Z) - AI Literacy, Safety Awareness, and STEM Career Aspirations of Australian Secondary Students: Evaluating the Impact of Workshop Interventions [38.350232667249095]
ディープフェイクやその他のタイプの合成メディアは、青年期の安全リスクを増大させる。
本研究は,AIオーストラリアにおけるワークショップによる介入の日がオーストラリア中等生に与える影響を評価する。
論文 参考訳（メタデータ） (2026-01-30T02:55:53Z) - Predicting ChatGPT Use in Assignments: Implications for AI-Aware Assessment Design [0.0]
この研究は、ChatGPTを新しい概念の学習に頻繁に使うことは、潜在的過度に相関していることを示している。
我々は、イノベーションと学術的厳密さのバランスをとるために、規律に特有なガイドラインと再考された評価戦略を提案する。
論文 参考訳（メタデータ） (2025-08-16T11:09:38Z) - Evaluating and Mitigating Bias in AI-Based Medical Text Generation [35.24191727599811]
AIシステムは人間の偏見を反映し、増幅し、歴史的に貧弱な人口におけるパフォーマンスの質を低下させる。
本研究では,医療分野におけるテキスト生成における公平性問題について検討する。
偏りを低減するために,不整合群を選択的に最適化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-24T06:10:40Z) - Hey GPT, Can You be More Racist? Analysis from Crowdsourced Attempts to Elicit Biased Content from Generative AI [41.96102438774773]
本研究は,GenAIツールから偏りのあるアウトプットを抽出するプロンプトの設計に参加者が挑戦する大学レベルのコンペから得られた知見を提示する。
我々は、競争の提出を定量的に質的に分析し、GenAIにおける多様なバイアスと、GenAIにおけるバイアスを誘発する参加者の戦略を同定する。
論文 参考訳（メタデータ） (2024-10-20T18:44:45Z) - A Meta-analysis of College Students' Intention to Use Generative Artificial Intelligence [5.13644976086965]
本研究では,27の実証的研究のメタ分析を行った。
主な変数は、GenAIを使用する学生の行動意図と強く相関している。
ジェンダーは、特に、学生のGenAIの使用に対する行動意図に対する態度を緩やかにしていただけである。
論文 参考訳（メタデータ） (2024-08-25T15:46:57Z) - Understanding Student and Academic Staff Perceptions of AI Use in Assessment and Feedback [0.0]
高等教育における人工知能(AI)と生成人工知能(GenAI)の台頭は、評価改革を必要としている。
本研究は,AIとGenAIツールを用いた学生と学術スタッフの経験を探索することによって,重要なギャップを解消する。
オンライン調査では、ベトナムの2つの大学とシンガポールの1つの大学から35人の研究スタッフと282人の学生のデータを収集した。
論文 参考訳（メタデータ） (2024-06-22T10:25:01Z) - ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。
認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。
本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文 参考訳（メタデータ） (2024-05-28T22:45:28Z) - Why is plausibility surprisingly problematic as an XAI criterion? [38.0428570713717]
可視性は通常、特徴ローカライゼーションまたは特徴相関のメトリクスによって定量化される。
本研究は, 説明可能性の測定には妥当性が認められず, 人的説明がXAIの基礎的真理ではないことを示す。
測定の無効性と非倫理的な問題から,XAIアルゴリズムの評価と最適化の基準として,コミュニティは可視性の使用をやめるべきである,と論じる。
論文 参考訳（メタデータ） (2023-03-30T20:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。