論文の概要: Bridging Psychometric and Content Development Practices with AI: A Community-Based Workflow for Augmenting Hawaiian Language Assessments

• arxiv url: http://arxiv.org/abs/2512.17140v1
• Date: Fri, 19 Dec 2025 00:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.205775
• Title: Bridging Psychometric and Content Development Practices with AI: A Community-Based Workflow for Augmenting Hawaiian Language Assessments
• Title（参考訳）: AIによる心理的・コンテンツ開発プラクティスのブリッジ:ハワイ語アセスメントを拡大するためのコミュニティベースのワークフロー
• Authors: Pōhai Kūkea-Shultz, Frank Brockmann,
• Abstract要約: 本稿では,教育成果評価(K'EO)プログラムのためのコミュニティベース人工知能(AI)ワークフローの設計と評価を行う。 K'EOは、米国で連邦政府の説明責任のために使用される唯一のネイティブ言語アセスメントである。 このプロジェクトでは、文書化された言語モデルが倫理的かつ効果的にアイテムのパフォーマンスの人的分析を増強できるかどうかを調査した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the design and evaluation of a community-based artificial intelligence (AI) workflow developed for the Kaiapuni Assessment of Educational Outcomes (KĀ'EO) program, the only native language assessment used for federal accountability in the United States. The project explored whether document-grounded language models could ethically and effectively augment human analysis of item performance while preserving the cultural and linguistic integrity of the Hawaiian language. Operating under the KĀ'EO AI Policy Framework, the workflow used NotebookLM for cross-document synthesis of psychometric data and Claude 3.5 Sonnet for developer-facing interpretation, with human oversight at every stage. Fifty-eight flagged items across Hawaiian Language Arts, Mathematics, and Science were reviewed during Round 2 of the AI Lab, producing six interpretive briefs that identified systemic design issues such as linguistic ambiguity, Depth-of-Knowledge (DOK) misalignment, and structural overload. The findings demonstrate that AI can serve as an ethically bounded amplifier of human expertise, accelerating analysis while simultaneously prioritizing fairness, human expertise, and cultural authority. This work offers a replicable model for responsible AI integration in Indigenous-language educational measurement.
• Abstract（参考訳）: 本稿では,教育成果評価プログラム(Kaiapuni Assessment of Educational Outcomes, カイアプニ・アセスメント・オブ・教育成果評価プログラム)のために開発されたコミュニティベースの人工知能(AI)ワークフローの設計と評価について述べる。 このプロジェクトは、ハワイ語の文化的・言語的整合性を保ちながら、倫理的かつ効果的に品目パフォーマンスの分析を増強できるかどうかを探究した。 K'EO AI Policy Frameworkの下で運用されているこのワークフローでは、サイコメトリックデータのクロスドキュメント合成にNotebookLMを使用しており、開発者対応の解釈にはClaude 3.5 Sonnetを使用しており、各段階で人間の監視を施している。 ハワイ語芸術、数学、科学の28項目がAIラボの第2ラウンドでレビューされ、言語的あいまいさ、Depth-of-Knowledge(DOK)のミスアライメント、構造的過負荷といったシステム設計上の問題を特定する6つの解釈的なブリーフが作成された。 この結果は、AIが倫理的に拘束された人間の専門知識の増幅器として機能し、分析を加速し、公正さ、人間の専門知識、文化的な権威を同時に優先することを示しています。 この研究は、Indigenous-Language Education MeasurementにおけるAI統合の責任を負うためのレプリカブルモデルを提供する。

関連論文リスト

• Evaluation of AI Ethics Tools in Language Models: A Developers' Perspective Case Stud [2.659655189346942]
  本稿では,言語モデルにおけるAIETの評価手法を提案する。 モデルカード,ALTAI,FactSheets,Harms Modelingの4つのAIETを選択した。 評価では、AIETの使用と品質に関する開発者の視点を考慮し、モデルに関する倫理的考慮事項の特定に役立てた。
  論文  参考訳（メタデータ） (2025-12-16T02:43:37Z)
• AIssistant: An Agentic Approach for Human--AI Collaborative Scientific Work on Reviews and Perspectives in Machine Learning [2.464267718050055]
  ここでは、AIssistantを用いた最初の実験を、機械学習の研究論文の視点とレビューのために提示する。 本システムでは,文学,セクションワイド実験,引用管理,自動文書生成のためのモジュールツールとエージェントを統合している。 その効果にもかかわらず、幻覚的引用、動的紙構造への適応の困難、マルチモーダルコンテンツの不完全統合など、重要な制限を識別する。
  論文  参考訳（メタデータ） (2025-09-14T15:50:31Z)
• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• The next question after Turing's question: Introducing the Grow-AI test [51.56484100374058]
  本研究は,GROW-AIと呼ばれる人工知能評価の枠組みを拡張することを目的としている。 GROW-AIは、チューリングテストの自然な後継者である"Can Machine grow up? この作品の独創性は、人間の世界から人工知能への「成長」過程の概念的な変換にある。
  論文  参考訳（メタデータ） (2025-08-22T10:19:42Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Explainable Authorship Identification in Cultural Heritage Applications: Analysis of a New Perspective [48.031678295495574]
  既存の汎用eXplainable Artificial Intelligence(XAI)技術のAIへの応用について検討する。 特に,3種類のAIdタスクにおける3種類のXAIテクニックの相対的メリットを評価した。 我々の分析によると、これらの技術は、説明可能なオーサシップの特定に向けて重要な第一歩を踏み出すが、まだ多くの作業が続けられている。
  論文  参考訳（メタデータ） (2023-11-03T20:51:15Z)
• Supporting Human-AI Collaboration in Auditing LLMs with LLMs [33.56822240549913]
  大きな言語モデルは偏見があり、無責任に振る舞うことが示されている。 これらの言語モデルを厳格に監査することは重要である。 既存の監査ツールは、人間とAIの両方を活用して失敗を見つける。
  論文  参考訳（メタデータ） (2023-04-19T21:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。