論文の概要: Test-takers have a say: understanding the implications of the use of AI in language tests

• arxiv url: http://arxiv.org/abs/2307.09885v1
• Date: Wed, 19 Jul 2023 10:28:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 14:26:25.197945
• Title: Test-takers have a say: understanding the implications of the use of AI in language tests
• Title（参考訳）: 受験者は、言語テストにおけるAIの使用の意味を理解する
• Authors: Dawen Zhang, Thong Hoang, Shidong Pan, Yongquan Hu, Zhenchang Xing, Mark Staples, Xiwei Xu, Qinghua Lu, Aaron Quigley
• Abstract要約: 本研究は,テストテッカーの観点から,言語テストにおけるAI導入の影響を明らかにすることを目的とした,最初の実証的研究である。 私たちは、AI統合が公正さ、一貫性、可用性の知覚を高める可能性があると認識しています。 信頼性と対話性に関する不信を提起し、その後、テストテイカーの行動や幸福に影響を与えるかもしれない。
• 参考スコア（独自算出の注目度）: 12.430886405811757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language tests measure a person's ability to use a language in terms of listening, speaking, reading, or writing. Such tests play an integral role in academic, professional, and immigration domains, with entities such as educational institutions, professional accreditation bodies, and governments using them to assess candidate language proficiency. Recent advances in Artificial Intelligence (AI) and the discipline of Natural Language Processing have prompted language test providers to explore AI's potential applicability within language testing, leading to transformative activity patterns surrounding language instruction and learning. However, with concerns over AI's trustworthiness, it is imperative to understand the implications of integrating AI into language testing. This knowledge will enable stakeholders to make well-informed decisions, thus safeguarding community well-being and testing integrity. To understand the concerns and effects of AI usage in language tests, we conducted interviews and surveys with English test-takers. To the best of our knowledge, this is the first empirical study aimed at identifying the implications of AI adoption in language tests from a test-taker perspective. Our study reveals test-taker perceptions and behavioral patterns. Specifically, we identify that AI integration may enhance perceptions of fairness, consistency, and availability. Conversely, it might incite mistrust regarding reliability and interactivity aspects, subsequently influencing the behaviors and well-being of test-takers. These insights provide a better understanding of potential societal implications and assist stakeholders in making informed decisions concerning AI usage in language testing.
• Abstract（参考訳）: 言語テストは、聞く、話す、読む、書くといった観点で言語を使用する人の能力を測定する。 このようなテストは、教育機関、専門家認定機関、それにそれらを使って言語能力を評価する政府といった団体とともに、学術、専門分野、移民分野において不可欠な役割を担っている。 人工知能(AI)と自然言語処理の分野の最近の進歩により、言語テストプロバイダは、言語テストにおけるAIの適用可能性を探究し、言語教育と学習を取り巻く変革的な活動パターンへと繋がった。 しかし、AIの信頼性に関する懸念から、AIを言語テストに統合することの意味を理解することが不可欠である。 この知識はステークホルダーに十分な情報提供の意思決定を可能にするため、コミュニティの幸福とテストの完全性を保護する。 言語テストにおけるAI利用の懸念と影響を理解するため、英語の受験者を対象にインタビューと調査を行った。 私たちの知る限りでは、これはテストテイカーの観点から、言語テストにおけるai採用の意義を特定することを目的とした最初の実証研究です。 本研究は,テストテイカー知覚と行動パターンを明らかにする。 具体的には、AI統合が公正さ、一貫性、可用性の知覚を高める可能性があると認識する。 逆に、信頼性と相互作用性に関する不信を招き、その後、テストテイカーの行動や幸福に影響を与えるかもしれない。 これらの洞察は、潜在的な社会的な影響をより深く理解し、言語テストにおけるaiの使用に関するインフォームドな意思決定を支援する。

関連論文リスト

• Generative AI, Pragmatics, and Authenticity in Second Language Learning [0.0]
  生成的AI(Artificial Intelligence)を言語学習と教育に統合する上で、明らかなメリットがある。 しかし、AIシステムが人間の言語に耐える方法のため、人間と同じ社会的認識を持つ言語を使えるような、生きた経験が欠けている。 言語や文化のバイアスは、そのトレーニングデータに基づいて構築されており、主に英語であり、主に西洋の情報源から来ている。
  論文  参考訳（メタデータ） (2024-10-18T11:58:03Z)
• Responsible AI for Test Equity and Quality: The Duolingo English Test as a Case Study [0.06657612504660106]
  この章では、AIを利用したハイテイクな英語アセスメントであるDuolingo English Test (DET)を用いて、ケーススタディを提示している。 DET RAI標準、その開発、およびドメインに依存しないRAI原則との関係について論じる。 これらのプラクティスは、妥当性と信頼性、公平性、プライバシとセキュリティ、透明性と説明責任の基準という倫理的原則にどのように対処するかを示している。
  論文  参考訳（メタデータ） (2024-08-28T11:39:20Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Distributed agency in second language learning and teaching through generative AI [0.0]
  ChatGPTは、テキストまたは音声形式のチャットを通じて非公式な第二言語プラクティスを提供することができる。 インストラクタはAIを使って、さまざまなメディアで学習と評価材料を構築することができる。
  論文  参考訳（メタデータ） (2024-03-29T14:55:40Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• MAILS -- Meta AI Literacy Scale: Development and Testing of an AI Literacy Questionnaire Based on Well-Founded Competency Models and Psychological Change- and Meta-Competencies [6.368014180870025]
  アンケートはモジュラー(すなわち、互いに独立して使用できる異なるファセットを含む)であり、プロフェッショナルな生活に柔軟に適用できるべきである。 我々は、AIリテラシーの異なる側面を表すために、Ngと同僚がAIリテラシーを概念化した60項目を作成した。 AIに関する問題解決、学習、感情制御などの心理的能力を表す12項目が追加されている。
  論文  参考訳（メタデータ） (2023-02-18T12:35:55Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Can Machines Imitate Humans? Integrative Turing Tests for Vision and Language Demonstrate a Narrowing Gap [45.6806234490428]
  3つの言語タスクと3つのビジョンタスクで人間を模倣する能力において、現在のAIをベンチマークします。 実験では、549人の人間エージェントと26人のAIエージェントがデータセットの作成に使われ、1,126人の人間審査員と10人のAI審査員が参加した。 結果として、現在のAIは、複雑な言語とビジョンの課題において人間を偽装できるものではないことが判明した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。