論文の概要: Test-takers have a say: understanding the implications of the use of AI
in language tests
- arxiv url: http://arxiv.org/abs/2307.09885v1
- Date: Wed, 19 Jul 2023 10:28:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 14:26:25.197945
- Title: Test-takers have a say: understanding the implications of the use of AI
in language tests
- Title(参考訳): 受験者は、言語テストにおけるAIの使用の意味を理解する
- Authors: Dawen Zhang, Thong Hoang, Shidong Pan, Yongquan Hu, Zhenchang Xing,
Mark Staples, Xiwei Xu, Qinghua Lu, Aaron Quigley
- Abstract要約: 本研究は,テストテッカーの観点から,言語テストにおけるAI導入の影響を明らかにすることを目的とした,最初の実証的研究である。
私たちは、AI統合が公正さ、一貫性、可用性の知覚を高める可能性があると認識しています。
信頼性と対話性に関する不信を提起し、その後、テストテイカーの行動や幸福に影響を与えるかもしれない。
- 参考スコア(独自算出の注目度): 12.430886405811757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language tests measure a person's ability to use a language in terms of
listening, speaking, reading, or writing. Such tests play an integral role in
academic, professional, and immigration domains, with entities such as
educational institutions, professional accreditation bodies, and governments
using them to assess candidate language proficiency. Recent advances in
Artificial Intelligence (AI) and the discipline of Natural Language Processing
have prompted language test providers to explore AI's potential applicability
within language testing, leading to transformative activity patterns
surrounding language instruction and learning. However, with concerns over AI's
trustworthiness, it is imperative to understand the implications of integrating
AI into language testing. This knowledge will enable stakeholders to make
well-informed decisions, thus safeguarding community well-being and testing
integrity. To understand the concerns and effects of AI usage in language
tests, we conducted interviews and surveys with English test-takers. To the
best of our knowledge, this is the first empirical study aimed at identifying
the implications of AI adoption in language tests from a test-taker
perspective. Our study reveals test-taker perceptions and behavioral patterns.
Specifically, we identify that AI integration may enhance perceptions of
fairness, consistency, and availability. Conversely, it might incite mistrust
regarding reliability and interactivity aspects, subsequently influencing the
behaviors and well-being of test-takers. These insights provide a better
understanding of potential societal implications and assist stakeholders in
making informed decisions concerning AI usage in language testing.
- Abstract(参考訳): 言語テストは、聞く、話す、読む、書くといった観点で言語を使用する人の能力を測定する。
このようなテストは、教育機関、専門家認定機関、それにそれらを使って言語能力を評価する政府といった団体とともに、学術、専門分野、移民分野において不可欠な役割を担っている。
人工知能(AI)と自然言語処理の分野の最近の進歩により、言語テストプロバイダは、言語テストにおけるAIの適用可能性を探究し、言語教育と学習を取り巻く変革的な活動パターンへと繋がった。
しかし、AIの信頼性に関する懸念から、AIを言語テストに統合することの意味を理解することが不可欠である。
この知識はステークホルダーに十分な情報提供の意思決定を可能にするため、コミュニティの幸福とテストの完全性を保護する。
言語テストにおけるAI利用の懸念と影響を理解するため、英語の受験者を対象にインタビューと調査を行った。
私たちの知る限りでは、これはテストテイカーの観点から、言語テストにおけるai採用の意義を特定することを目的とした最初の実証研究です。
本研究は,テストテイカー知覚と行動パターンを明らかにする。
具体的には、AI統合が公正さ、一貫性、可用性の知覚を高める可能性があると認識する。
逆に、信頼性と相互作用性に関する不信を招き、その後、テストテイカーの行動や幸福に影響を与えるかもしれない。
これらの洞察は、潜在的な社会的な影響をより深く理解し、言語テストにおけるaiの使用に関するインフォームドな意思決定を支援する。
関連論文リスト
- Distributed agency in second language learning and teaching through generative AI [0.0]
ChatGPTは、テキストまたは音声形式のチャットを通じて非公式な第二言語プラクティスを提供することができる。
インストラクタはAIを使って、さまざまなメディアで学習と評価材料を構築することができる。
論文 参考訳(メタデータ) (2024-03-29T14:55:40Z) - Generative AI in Education: A Study of Educators' Awareness, Sentiments, and Influencing Factors [2.217351976766501]
本研究は,AI言語モデルに対する教員の経験と態度について考察する。
学習スタイルと生成AIに対する態度の相関は見つからない。
CS教育者は、生成するAIツールの技術的理解にはるかに自信を持っているが、AI生成された仕事を検出する能力にこれ以上自信がない。
論文 参考訳(メタデータ) (2024-03-22T19:21:29Z) - BabySLM: language-acquisition-friendly benchmark of self-supervised
spoken language models [56.93604813379634]
音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。
語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。
テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
論文 参考訳(メタデータ) (2023-06-02T12:54:38Z) - MAILS -- Meta AI Literacy Scale: Development and Testing of an AI
Literacy Questionnaire Based on Well-Founded Competency Models and
Psychological Change- and Meta-Competencies [6.368014180870025]
アンケートはモジュラー(すなわち、互いに独立して使用できる異なるファセットを含む)であり、プロフェッショナルな生活に柔軟に適用できるべきである。
我々は、AIリテラシーの異なる側面を表すために、Ngと同僚がAIリテラシーを概念化した60項目を作成した。
AIに関する問題解決、学習、感情制御などの心理的能力を表す12項目が追加されている。
論文 参考訳(メタデータ) (2023-02-18T12:35:55Z) - Language Cognition and Language Computation -- Human and Machine
Language Understanding [51.56546543716759]
言語理解は認知科学とコンピュータ科学の分野で重要な科学的問題である。
これらの規律を組み合わせることで、インテリジェントな言語モデルを構築する上で、新たな洞察が得られますか?
論文 参考訳(メタデータ) (2023-01-12T02:37:00Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - Building Human-like Communicative Intelligence: A Grounded Perspective [1.0152838128195465]
言語学習における驚くべき進歩の後、AIシステムは人間のコミュニケーション能力の重要な側面を反映しない天井に近づいたようだ。
本稿は、ナチビストと象徴的パラダイムに基づく認知にインスパイアされたAIの方向性には、現代AIの進歩を導くために必要なサブストラテジと具体性がないことを示唆する。
本稿では,「地下」言語知能構築のための具体的かつ実装可能なコンポーネントのリストを提案する。
論文 参考訳(メタデータ) (2022-01-02T01:43:24Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳(メタデータ) (2021-07-12T14:21:46Z) - A Definition and a Test for Human-Level Artificial Intelligence [1.3140673348778702]
人間は、状態、行動、および対応する報酬列を経験しているかのように、言葉による記述でアクション値関数を更新することができる。
本稿では、各エージェントがどのように学習するかに応じて知能の分類を行い、HLAIの定義とテストを提案する。
論文 参考訳(メタデータ) (2020-11-18T17:10:02Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。