論文の概要: Evaluating Machine Expertise: How Graduate Students Develop Frameworks for Assessing GenAI Content

• arxiv url: http://arxiv.org/abs/2504.17964v1
• Date: Thu, 24 Apr 2025 22:24:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.589622
• Title: Evaluating Machine Expertise: How Graduate Students Develop Frameworks for Assessing GenAI Content
• Title（参考訳）: 機械専門家の評価:大学院生がどのようにGenAIコンテンツを評価するフレームワークを開発するか
• Authors: Celia Chen, Alex Leitch,
• Abstract要約: 本稿では,大学院生が大規模言語モデル(LLM)を用いたWebベースインタラクションにおいて,機械生成の専門知識を評価するためのフレームワークを開発する方法について検討する。 その結果, 学生は, 職業的アイデンティティ, 検証能力, システムナビゲーション経験の3つの要因により, 評価フレームワークを構築していることがわかった。
• 参考スコア（独自算出の注目度）: 1.967444231154626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper examines how graduate students develop frameworks for evaluating machine-generated expertise in web-based interactions with large language models (LLMs). Through a qualitative study combining surveys, LLM interaction transcripts, and in-depth interviews with 14 graduate students, we identify patterns in how these emerging professionals assess and engage with AI-generated content. Our findings reveal that students construct evaluation frameworks shaped by three main factors: professional identity, verification capabilities, and system navigation experience. Rather than uniformly accepting or rejecting LLM outputs, students protect domains central to their professional identities while delegating others--with managers preserving conceptual work, designers safeguarding creative processes, and programmers maintaining control over core technical expertise. These evaluation frameworks are further influenced by students' ability to verify different types of content and their experience navigating complex systems. This research contributes to web science by highlighting emerging human-genAI interaction patterns and suggesting how platforms might better support users in developing effective frameworks for evaluating machine-generated expertise signals in AI-mediated web environments.
• Abstract（参考訳）: 本稿では,大学院生が大規模言語モデル(LLM)を用いたWebベースインタラクションにおいて,機械生成の専門知識を評価するためのフレームワークを開発する方法について検討する。 本研究は,14人の大学院生を対象に行った調査,LLMインタラクションの書き起こし,詳細なインタビューを組み合わせた質的研究を通じて,これらの新進プロフェッショナルがAI生成コンテンツをどのように評価し,関与するかのパターンを明らかにした。 その結果, 学生は, 職業的アイデンティティ, 検証能力, システムナビゲーション経験の3つの要因により, 評価フレームワークを構築していることがわかった。 LLMのアウトプットを均一に受け入れたり拒否する代わりに、学生は専門的なアイデンティティの中心にあるドメインを保護し、他人を委譲する。 これらの評価フレームワークは、学生が様々なタイプのコンテンツを検証する能力と、複雑なシステムをナビゲートする経験にさらに影響を受けている。 この研究は、新たな人間-AIインタラクションパターンを強調し、AIを介するWeb環境において、マシン生成の専門知識信号を評価する効果的なフレームワークを開発する上で、プラットフォームがいかにユーザを支援するかを提案することによって、Webサイエンスに寄与する。

関連論文リスト

• Developing a Multi-Agent System to Generate Next Generation Science Assessments with Evidence-Centered Design [9.558651359587358]
  次世代科学標準 (NGSS) は、学生が科学知識を使って問題解決や設計ソリューションを構築する能力を理解するために評価を要求する。 このような高次能力を引き出すには、教育者は、開発が困難なパフォーマンスベースの評価が必要である。 Evidence-Centered Design (ECD) は学習者、エビデンス、タスクの相互接続モデルを強調している。
  論文  参考訳（メタデータ） (2026-02-03T04:37:24Z)
• Artificial Intelligence Agents in Music Analysis: An Integrative Perspective Based on Two Use Cases [0.0]
  本稿では,音楽分析と教育に応用されたAIエージェントの総合的レビューと実験的検証について述べる。 ルールベースモデルから、ディープラーニング、マルチエージェントアーキテクチャ、検索拡張生成フレームワークを含む現代的アプローチへの歴史的進化を合成する。 実験の結果,AIエージェントは音楽パターン認識,構成パラメータ化,教育的フィードバックを効果的に強化することがわかった。
  論文  参考訳（メタデータ） (2025-11-17T23:46:47Z)
• "I Like That You Have to Poke Around": Instructors on How Experiential Approaches to AI Literacy Spark Inquiry and Critical Thinking [0.5872014229110213]
  本稿では,実世界のシナリオに根ざしたインタラクティブな非コードプロジェクトを通じて,コアAI概念を教えるモジュール型WebベースのカリキュラムであるAI Userの研究成果を紹介する。 コミュニティカレッジのインストラクター15人が、構造化されたフォーカスグループに参加し、学習者としてプロジェクトを完了し、個々のリフレクションやグループディスカッションを通じてフィードバックを提供した。 調査課題に対するインストラクターの評価、ロールベースシミュレーション、実世界の妥当性、さらには多様な学習者に対する認知的負荷、指導、適応性に関する設計上のトレードオフを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-11-07T17:05:58Z)
• AI Literacy for Community Colleges: Instructors' Perspectives on Scenario-Based and Interactive Approaches to Teaching AI [0.500208619516796]
  本研究は,非STEM学習者を対象とした対話型,非コード型AIリテラシーリソースについて,コミュニティ・カレッジ・インストラクターがどのように評価するかを検討する。 人工知能が日々のテクノロジーに統合されるにつれて、AIリテラシーは分野によって重要なスキルとして現れてきた。 AI Userはインタラクティブなオンラインカリキュラムで、実世界のコンテキストに設定されたシナリオベースのアクティビティを通じて、コアAI概念を紹介する。
  論文  参考訳（メタデータ） (2025-11-07T15:51:53Z)
• Towards AI Agents for Course Instruction in Higher Education: Early Experiences from the Field [3.1941554288428193]
  この記事では、IIScの大学院レベルのクラウドコンピューティングコースで、AIベースの教育エージェントを主要なインストラクターとして配置し、デプロイし、評価することで、初期の知見を提示する。 本稿では,Large Language Model (LLM) 駆動のインストラクタエージェントの設計について詳述し,インストラクタエージェントをコースワークフローに統合する教育的フレームワークを紹介する。 本稿では,学生がエージェントとどのように相互作用し,概念を探求し,疑念を明確化し,調査主導の対話をライブ教室で行うかについて報告する。
  論文  参考訳（メタデータ） (2025-10-23T06:23:35Z)
• WebDevJudge: Evaluating (M)LLMs as Critiques for Web Development Quality [62.43165871914528]
  我々は、Web開発におけるLCM-as-a-judgeのパフォーマンスを評価するための体系的なベンチマークであるWebDevJudgeを紹介する。 WebDevJudgeは、構造化およびクエリグラウンドのルーリックで注釈付けされた、ペア化されたWeb実装よりも人間の好みラベルで構成されている。 詳細な分析によると、このギャップは、機能的同値性認識の失敗、タスク実現可能性の検証、バイアス軽減など、基本的なモデル上の制限に由来する。
  論文  参考訳（メタデータ） (2025-10-21T12:16:04Z)
• Fundamentals of Building Autonomous LLM Agents [64.39018305018904]
  本稿では,大規模言語モデル(LLM)を用いたエージェントのアーキテクチャと実装手法について概説する。 この研究は、複雑なタスクを自動化し、人間の能力でパフォーマンスのギャップを埋めることのできる「アジェンティック」なLLMを開発するためのパターンを探求することを目的としている。
  論文  参考訳（メタデータ） (2025-10-10T10:32:39Z)
• Beyond Automation: Socratic AI, Epistemic Agency, and the Implications of the Emergence of Orchestrated Multi-Agent Learning Architectures [0.0]
  ジェネレーティブAIはもはや高等教育における周辺ツールではない。 本稿では,ソクラティックAIテュータの評価実験から得られた知見について述べる。 テューターを使用する学生は、批判的、独立的、反省的な思考に対する大きな支持を報告した。
  論文  参考訳（メタデータ） (2025-08-07T07:49:03Z)
• Beyond Brainstorming: What Drives High-Quality Scientific Ideas? Lessons from Multi-Agent Collaboration [59.41889496960302]
  本稿では,構造化マルチエージェントの議論が独創的思考を超えうるかどうかを考察する。 研究提案を作成するための協調型マルチエージェントフレームワークを提案する。 エージェントベースのスコアリングと,新規性,戦略的ビジョン,統合深度といった領域にわたるヒューマンレビューを備えた包括的プロトコルを採用している。
  論文  参考訳（メタデータ） (2025-08-06T15:59:18Z)
• Teaching at Scale: Leveraging AI to Evaluate and Elevate Engineering Education [3.557803321422781]
  本稿では,大規模言語モデルを用いた定性的な学生フィードバックのためのスケーラブルなAI支援フレームワークを提案する。 このシステムは階層的な要約、匿名化、例外処理を用いて、オープンなコメントから実行可能なテーマを抽出する。 大規模な工学系大学への展開が成功したことを報告します。
  論文  参考訳（メタデータ） (2025-08-01T20:27:40Z)
• Creativity in LLM-based Multi-Agent Systems: A Survey [56.25583236738877]
  大規模言語モデル(LLM)によるマルチエージェントシステム(MAS)は、人間とAIが協調してアイデアやアーティファクトを生成する方法を変えつつある。 これはMASにおける創造性に関する最初の調査である。 本研究では,(1)エージェントの能動性やペルソナ設計の分類,(2)分岐探索,反復改良,協調合成などの生成技術の概要,(3)不整合評価基準,不整合性バイアス緩和,協調競合,統一ベンチマークの欠如といった重要な課題について論じる。
  論文  参考訳（メタデータ） (2025-05-27T12:36:14Z)
• On the Evaluation of Engineering Artificial General Intelligence [5.802869598386355]
  本稿では,工学的汎用人工知能(eAGI)エージェントを評価するための枠組みを提案する。 我々はeAGIを人工知能(AGI)の専門化と考えている。 eAGIエージェントは、事実とメソッドの背景知識(リコールと検索)のユニークなブレンドを持つべきである。
  論文  参考訳（メタデータ） (2025-05-15T18:52:47Z)
• Enhancing tutoring systems by leveraging tailored promptings and domain knowledge with Large Language Models [2.5362697136900563]
  ChatGPTやIntelligent Tutoring Systems(ITS)といったAI駆動のツールは、パーソナライゼーションと柔軟性を通じて、学習エクスペリエンスを向上している。 ITSは、個々の学習ニーズに適応し、生徒のパフォーマンス、認知状態、学習パスに基づいてカスタマイズされたフィードバックを提供する。 我々の研究は,大規模言語モデル(LLM)の迅速な工学化にRAG(Retrieval Augmented Generation)を介して,スキルアラインなフィードバックを組み込むことによって,これらのギャップに対処することを目的としている。
  論文  参考訳（メタデータ） (2025-05-02T02:30:39Z)
• Beyond the Classroom: Bridging the Gap Between Academia and Industry with a Hands-on Learning Approach [2.8123958518740544]
  自己適応型ソフトウェアシステムは、ソフトウェア設計と運用に重要な焦点をあてている。 実践者の調査では、知識のある個人が不足しているため、業界における採用が妨げられている。 我々は、理論知識とハンズオン学習を産業関連技術と統合した自己適応型ソフトウェアシステムでコースを教える経験を提示する。
  論文  参考訳（メタデータ） (2025-04-14T21:32:25Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• Level Up Peer Review in Education: Investigating genAI-driven Gamification system and its influence on Peer Feedback Effectiveness [0.8087870525861938]
  本稿では、Generative AI(GenAI)アシストと統合されたゲーミフィケーションピアアセスメントプラットフォームであるSocratiqueを紹介する。 Socratiqueはゲーム要素を取り入れることで、学生により多くのフィードバックを提供する動機付けを目指している。 治療群では, 明瞭度, 関連性, 特異性について, より自発的なフィードバックが得られた。
  論文  参考訳（メタデータ） (2025-04-03T18:30:25Z)
• A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
  グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。 大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。 本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
  論文  参考訳（メタデータ） (2025-03-27T17:58:31Z)
• LLM Agents for Education: Advances and Applications [49.3663528354802]
  大規模言語モデル(LLM)エージェントは、タスクの自動化と多様な教育アプリケーションにおけるイノベーションの推進において、顕著な能力を示した。 本調査は、LLMエージェントの総合的技術概要を提供することを目的としており、学習者や教育者のより大きな利益に対する影響を高めるために、さらなる研究と協力を促進することを目的としている。
  論文  参考訳（メタデータ） (2025-03-14T11:53:44Z)
• Human-Centered Design for AI-based Automatically Generated Assessment Reports: A Systematic Review [4.974197456441281]
  本研究は,ユーザ中心・直感的デザインによる教師の認知的要求を減らすことの重要性を強調した。 テキスト、視覚支援、プロットなどの多様な情報提示フォーマットや、ユーザビリティを高めるためのライブやインタラクティブ機能などの高度な機能の可能性を強調します。 このフレームワークは、教師が技術強化された評価結果に取り組み、データ駆動による意思決定を容易にし、教育と学習プロセスを改善するためのパーソナライズされたフィードバックを提供することの課題に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-12-30T16:20:07Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
  この研究はHuman-Centered Artificial Intelligence (HCAI)にある。 一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-21T12:32:39Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Constraining Participation: Affordances of Feedback Features in Interfaces to Large Language Models [49.74265453289855]
  大規模言語モデル(LLM)は、コンピュータ、Webブラウザ、ブラウザベースのインターフェースによるインターネット接続を持つ人なら誰でも利用できるようになった。 本稿では,ChatGPTインタフェースにおける対話型フィードバック機能の可能性について検討し,ユーザ入力の形状やイテレーションへの参加について分析する。
  論文  参考訳（メタデータ） (2024-08-27T13:50:37Z)
• Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences [0.0]
  この研究は、ITSのフィードバック生成に関する以前の研究を通し、AIEDの研究を慎重に支援するものである。 本論文の主な貢献は次のとおりである。 生成AIの時代におけるフィードバック生成において、より慎重で理論的に基礎付けられた手法を適用すること。
  論文  参考訳（メタデータ） (2024-05-07T20:09:18Z)
• Prototyping with Prompts: Emerging Approaches and Challenges in Generative AI Design for Collaborative Software Teams [2.237039275844699]
  生成型AIモデルは、人間のタスクに統合され、表現力のあるコンテンツの制作が可能になっている。 従来のヒューマンAI設計手法とは異なり、生成能力を設計するための新しいアプローチは、迅速なエンジニアリング戦略に重点を置いている。 我々の発見は、マルチステークホルダーチーム間のAIシステムのプロトタイピングにおける新たなプラクティスと役割シフトを浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-27T17:56:10Z)
• Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
  本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
  論文  参考訳（メタデータ） (2022-09-07T10:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。