論文の概要: When the Target Domain Changes: AI-Mediated Construct Drift in High-Stakes English Language AssessmenW

• arxiv url: http://arxiv.org/abs/2607.11213v1
• Date: Mon, 13 Jul 2026 08:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.386662
• Title: When the Target Domain Changes: AI-Mediated Construct Drift in High-Stakes English Language AssessmenW
• Title（参考訳）: ターゲットドメインが変化した時:AIを介在した英語のAssessmenWにおける構築ドリフト
• Abstract要約: 高評価の英語習熟度試験は、標準化され、無視されたパフォーマンスを、学術的な英語習熟度に関する得点解釈の証拠として扱う。 この概念的妥当性の議論は、ハイテイク言語テストにおけるスコア解釈問題としてAIを再設計する。 論文は、AIを利用した学術コミュニケーションの主張を支援するために、スコアの解釈を狭め、補足すべきであると主張している。
• 参考スコア（独自算出の注目度）: 1.2333280983346018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-stakes English proficiency tests treat standardized, unaided performance as evidence for score interpretations about academic English proficiency. This interpretation remains meaningful, but as target language use domains increasingly involve generative AI, the extrapolation from unaided test performance to academic communicative readiness becomes less self-evident. This conceptual validity argument reframes AI as a score-interpretation problem in high-stakes language testing, not only an operational issue of scoring, feedback, security, or misconduct. Synthesizing current literature in three uneven layers, the paper shows that most work treats AI as assessment infrastructure, while far less theorizes its implications for construct validity and extrapolation warrants. It defines AI-mediated construct drift as the misalignment that arises when communicative abilities required in the target domain change through AI mediation while test constructs remain anchored to an unaided-performance model. It proposes bounded AI mediation as a validity-oriented design principle: a standardized condition in which all test takers access the same institutionally controlled AI assistant, with predefined assistance boundaries, logged interactions, and tasks that distinguish comprehension support from answer generation. The paper argues that score interpretations should be narrowed and supplemented when used to support claims about AI-mediated academic communication.
• Abstract（参考訳）: 高評価の英語習熟度試験は、標準化され、無視されたパフォーマンスを、学術的な英語習熟度に関する得点解釈の証拠として扱う。 この解釈は依然として意味のあるものであるが、ターゲット言語の使用領域が生成的AIをますます含んでいるため、未確認のテストパフォーマンスから学術的なコミュニケーションの即応性への外挿は、より自己明快なものになる。 この概念的妥当性の議論は、スコア、フィードバック、セキュリティ、不正行為といった運用上の問題だけでなく、ハイテイクな言語テストにおけるスコア解釈の問題としてAIを再定義する。 論文は、現在の文献を3つの不均一な層に合成し、ほとんどの研究がAIをアセスメント基盤として扱う一方で、構築の妥当性と外挿の保証について、その意味をはるかに理論化していることを示している。 それは、AIを介するコンストラクトドリフトを、AIメディエーションを通じてターゲットドメインに必要なコミュニケーション能力が変化した時に生じる不一致として定義し、テストコンストラクトは未確認のパフォーマンスモデルに固定されている。 バリデーション指向の設計原則として、バウンドAIメディエーションを提案している。すべてのテストテイカーが、事前に定義された補助境界、ログされたインタラクション、そして、解答生成から理解サポートを区別するタスクを持つ、同じ制度で制御されたAIアシスタントにアクセスする、標準化された条件である。 論文は、AIを利用した学術コミュニケーションの主張を支援するために、スコアの解釈を狭め、補足すべきであると主張している。

関連論文リスト

• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World [29.886304642534743]
  AIネイティブコースアセスメントは、強力なAIベースラインを超えて成果を達成する能力によって、学生を格付けするべきである。 本稿では,この目的のための最小限の形式的枠組みを提案する。 ライス大学におけるCompe 480/580のためのブルームフィルタを中心としたAI-レジリエントな近似メンバーシップの割り当てについて述べる。
  論文  参考訳（メタデータ） (2026-06-16T04:54:15Z)
• Bridging the Usability Gap: Lessons from Interpreting Studies for Machine Interpreting Design [0.0]
  機械解釈(英: Machine Interpreting、MI)は、音声翻訳のリアルタイムな応用である。 しかし、ユーザエクスペリエンスはインタープリタ経由の通信よりもはるかに劣っている。 本稿では、MIを音声翻訳の異なるサブフィールドとして定義する。
  論文  参考訳（メタデータ） (2026-06-14T20:41:59Z)
• Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
  トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。 我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。 対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
  論文  参考訳（メタデータ） (2026-04-10T09:02:42Z)
• When Contextual Inference Fails: Cancelability in Interactive Instruction Following [51.2195840589474]
  私たちは、コンテキスト意味構築のためのインタラクティブなベンチマークであるBuild What I Meanを紹介します。 BWIMでは、モデルは文脈推論を行うか、小さな通信コストで明確化を要求することによって曖昧さを解決しなければならない。 我々は,不確実性の下でのパートナーブラインド過度明確化や質問逆推定などの準最適戦略を観察する。
  論文  参考訳（メタデータ） (2026-03-20T14:46:59Z)
• From Feature-Based Models to Generative AI: Validity Evidence for Constructed Response Scoring [0.0]
  我々は,人間の評価,特徴に基づく自然言語処理AIスコアリングエンジン,生成AIを用いたスコアリングシステムに必要な妥当性証拠を比較した。 生成AIコンテキストで必要となる証拠は、透明性の欠如や一貫性などの生成AIに固有の懸念があるため、機能ベースのスコアリングコンテキストよりも広い。
  論文  参考訳（メタデータ） (2026-03-01T23:21:18Z)
• Beyond Static Scoring: Enhancing Assessment Validity via AI-Generated Interactive Verification [0.4260312058817663]
  大規模言語モデル(LLM)は、著者の行を曖昧にすることで、従来のオープンエンドアセスメントの妥当性に挑戦する。 本稿では,ルーリックに基づく自動スコアリングとAIが生成し,対象とするフォローアップ質問を組み合わせることで,評価の整合性を高める新しいHuman-AIコラボレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-14T08:13:53Z)
• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Validity Arguments For Constructed Response Scoring Using Generative Artificial Intelligence Applications [0.0]
  ジェネレーティブAIは、従来のAIスコアリングにおける手作り機能に必要な労力を減らすため、特に魅力的である。 我々は,人間の評価,特徴に基づく自然言語処理AIスコアリングエンジン,生成AIを用いたスコアリングシステムに必要な妥当性証拠を比較した。
  論文  参考訳（メタデータ） (2025-01-04T16:59:29Z)
• Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
  大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。 LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。 最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
  論文  参考訳（メタデータ） (2023-11-20T14:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。