論文の概要: Evaluating Machine Expertise: How Graduate Students Develop Frameworks for Assessing GenAI Content
- arxiv url: http://arxiv.org/abs/2504.17964v1
- Date: Thu, 24 Apr 2025 22:24:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.589622
- Title: Evaluating Machine Expertise: How Graduate Students Develop Frameworks for Assessing GenAI Content
- Title（参考訳）: 機械専門家の評価:大学院生がどのようにGenAIコンテンツを評価するフレームワークを開発するか
- Authors: Celia Chen, Alex Leitch,
- Abstract要約: 本稿では,大学院生が大規模言語モデル(LLM)を用いたWebベースインタラクションにおいて,機械生成の専門知識を評価するためのフレームワークを開発する方法について検討する。
その結果, 学生は, 職業的アイデンティティ, 検証能力, システムナビゲーション経験の3つの要因により, 評価フレームワークを構築していることがわかった。
- 参考スコア（独自算出の注目度）: 1.967444231154626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper examines how graduate students develop frameworks for evaluating machine-generated expertise in web-based interactions with large language models (LLMs). Through a qualitative study combining surveys, LLM interaction transcripts, and in-depth interviews with 14 graduate students, we identify patterns in how these emerging professionals assess and engage with AI-generated content. Our findings reveal that students construct evaluation frameworks shaped by three main factors: professional identity, verification capabilities, and system navigation experience. Rather than uniformly accepting or rejecting LLM outputs, students protect domains central to their professional identities while delegating others--with managers preserving conceptual work, designers safeguarding creative processes, and programmers maintaining control over core technical expertise. These evaluation frameworks are further influenced by students' ability to verify different types of content and their experience navigating complex systems. This research contributes to web science by highlighting emerging human-genAI interaction patterns and suggesting how platforms might better support users in developing effective frameworks for evaluating machine-generated expertise signals in AI-mediated web environments.
- Abstract（参考訳）: 本稿では,大学院生が大規模言語モデル(LLM)を用いたWebベースインタラクションにおいて,機械生成の専門知識を評価するためのフレームワークを開発する方法について検討する。
本研究は,14人の大学院生を対象に行った調査,LLMインタラクションの書き起こし,詳細なインタビューを組み合わせた質的研究を通じて,これらの新進プロフェッショナルがAI生成コンテンツをどのように評価し,関与するかのパターンを明らかにした。
その結果, 学生は, 職業的アイデンティティ, 検証能力, システムナビゲーション経験の3つの要因により, 評価フレームワークを構築していることがわかった。
LLMのアウトプットを均一に受け入れたり拒否する代わりに、学生は専門的なアイデンティティの中心にあるドメインを保護し、他人を委譲する。
これらの評価フレームワークは、学生が様々なタイプのコンテンツを検証する能力と、複雑なシステムをナビゲートする経験にさらに影響を受けている。
この研究は、新たな人間-AIインタラクションパターンを強調し、AIを介するWeb環境において、マシン生成の専門知識信号を評価する効果的なフレームワークを開発する上で、プラットフォームがいかにユーザを支援するかを提案することによって、Webサイエンスに寄与する。
関連論文リスト
- Beyond Automation: Socratic AI, Epistemic Agency, and the Implications of the Emergence of Orchestrated Multi-Agent Learning Architectures [0.0]
ジェネレーティブAIはもはや高等教育における周辺ツールではない。
本稿では,ソクラティックAIテュータの評価実験から得られた知見について述べる。
テューターを使用する学生は、批判的、独立的、反省的な思考に対する大きな支持を報告した。
論文 参考訳（メタデータ） (2025-08-07T07:49:03Z) - Beyond Brainstorming: What Drives High-Quality Scientific Ideas? Lessons from Multi-Agent Collaboration [59.41889496960302]
本稿では,構造化マルチエージェントの議論が独創的思考を超えうるかどうかを考察する。
研究提案を作成するための協調型マルチエージェントフレームワークを提案する。
エージェントベースのスコアリングと,新規性,戦略的ビジョン,統合深度といった領域にわたるヒューマンレビューを備えた包括的プロトコルを採用している。
論文 参考訳（メタデータ） (2025-08-06T15:59:18Z) - Teaching at Scale: Leveraging AI to Evaluate and Elevate Engineering Education [3.557803321422781]
本稿では,大規模言語モデルを用いた定性的な学生フィードバックのためのスケーラブルなAI支援フレームワークを提案する。
このシステムは階層的な要約、匿名化、例外処理を用いて、オープンなコメントから実行可能なテーマを抽出する。
大規模な工学系大学への展開が成功したことを報告します。
論文 参考訳（メタデータ） (2025-08-01T20:27:40Z) - Creativity in LLM-based Multi-Agent Systems: A Survey [56.25583236738877]
大規模言語モデル(LLM)によるマルチエージェントシステム(MAS)は、人間とAIが協調してアイデアやアーティファクトを生成する方法を変えつつある。
これはMASにおける創造性に関する最初の調査である。
本研究では,(1)エージェントの能動性やペルソナ設計の分類,(2)分岐探索,反復改良,協調合成などの生成技術の概要,(3)不整合評価基準,不整合性バイアス緩和,協調競合,統一ベンチマークの欠如といった重要な課題について論じる。
論文 参考訳（メタデータ） (2025-05-27T12:36:14Z) - On the Evaluation of Engineering Artificial General Intelligence [5.802869598386355]
本稿では,工学的汎用人工知能(eAGI)エージェントを評価するための枠組みを提案する。
我々はeAGIを人工知能(AGI)の専門化と考えている。
eAGIエージェントは、事実とメソッドの背景知識(リコールと検索)のユニークなブレンドを持つべきである。
論文 参考訳（メタデータ） (2025-05-15T18:52:47Z) - Enhancing tutoring systems by leveraging tailored promptings and domain knowledge with Large Language Models [2.5362697136900563]
ChatGPTやIntelligent Tutoring Systems(ITS)といったAI駆動のツールは、パーソナライゼーションと柔軟性を通じて、学習エクスペリエンスを向上している。
ITSは、個々の学習ニーズに適応し、生徒のパフォーマンス、認知状態、学習パスに基づいてカスタマイズされたフィードバックを提供する。
我々の研究は,大規模言語モデル(LLM)の迅速な工学化にRAG(Retrieval Augmented Generation)を介して,スキルアラインなフィードバックを組み込むことによって,これらのギャップに対処することを目的としている。
論文 参考訳（メタデータ） (2025-05-02T02:30:39Z) - Beyond the Classroom: Bridging the Gap Between Academia and Industry with a Hands-on Learning Approach [2.8123958518740544]
自己適応型ソフトウェアシステムは、ソフトウェア設計と運用に重要な焦点をあてている。
実践者の調査では、知識のある個人が不足しているため、業界における採用が妨げられている。
我々は、理論知識とハンズオン学習を産業関連技術と統合した自己適応型ソフトウェアシステムでコースを教える経験を提示する。
論文 参考訳（メタデータ） (2025-04-14T21:32:25Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - Level Up Peer Review in Education: Investigating genAI-driven Gamification system and its influence on Peer Feedback Effectiveness [0.8087870525861938]
本稿では、Generative AI(GenAI)アシストと統合されたゲーミフィケーションピアアセスメントプラットフォームであるSocratiqueを紹介する。
Socratiqueはゲーム要素を取り入れることで、学生により多くのフィードバックを提供する動機付けを目指している。
治療群では, 明瞭度, 関連性, 特異性について, より自発的なフィードバックが得られた。
論文 参考訳（メタデータ） (2025-04-03T18:30:25Z) - A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。
大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。
本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
論文 参考訳（メタデータ） (2025-03-27T17:58:31Z) - LLM Agents for Education: Advances and Applications [49.3663528354802]
大規模言語モデル(LLM)エージェントは、タスクの自動化と多様な教育アプリケーションにおけるイノベーションの推進において、顕著な能力を示した。
本調査は、LLMエージェントの総合的技術概要を提供することを目的としており、学習者や教育者のより大きな利益に対する影響を高めるために、さらなる研究と協力を促進することを目的としている。
論文 参考訳（メタデータ） (2025-03-14T11:53:44Z) - Human-Centered Design for AI-based Automatically Generated Assessment Reports: A Systematic Review [4.974197456441281]
本研究は,ユーザ中心・直感的デザインによる教師の認知的要求を減らすことの重要性を強調した。
テキスト、視覚支援、プロットなどの多様な情報提示フォーマットや、ユーザビリティを高めるためのライブやインタラクティブ機能などの高度な機能の可能性を強調します。
このフレームワークは、教師が技術強化された評価結果に取り組み、データ駆動による意思決定を容易にし、教育と学習プロセスを改善するためのパーソナライズされたフィードバックを提供することの課題に対処することを目的としている。
論文 参考訳（メタデータ） (2024-12-30T16:20:07Z) - GUI Agents: A Survey [129.94551809688377]
グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。
GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
論文 参考訳（メタデータ） (2024-12-18T04:48:28Z) - User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
この研究はHuman-Centered Artificial Intelligence (HCAI)にある。
一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
論文 参考訳（メタデータ） (2024-10-21T12:32:39Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z) - Constraining Participation: Affordances of Feedback Features in Interfaces to Large Language Models [49.74265453289855]
大規模言語モデル(LLM)は、コンピュータ、Webブラウザ、ブラウザベースのインターフェースによるインターネット接続を持つ人なら誰でも利用できるようになった。
本稿では,ChatGPTインタフェースにおける対話型フィードバック機能の可能性について検討し,ユーザ入力の形状やイテレーションへの参加について分析する。
論文 参考訳（メタデータ） (2024-08-27T13:50:37Z) - Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences [0.0]
この研究は、ITSのフィードバック生成に関する以前の研究を通し、AIEDの研究を慎重に支援するものである。
本論文の主な貢献は次のとおりである。 生成AIの時代におけるフィードバック生成において、より慎重で理論的に基礎付けられた手法を適用すること。
論文 参考訳（メタデータ） (2024-05-07T20:09:18Z) - Prototyping with Prompts: Emerging Approaches and Challenges in Generative AI Design for Collaborative Software Teams [2.237039275844699]
生成型AIモデルは、人間のタスクに統合され、表現力のあるコンテンツの制作が可能になっている。
従来のヒューマンAI設計手法とは異なり、生成能力を設計するための新しいアプローチは、迅速なエンジニアリング戦略に重点を置いている。
我々の発見は、マルチステークホルダーチーム間のAIシステムのプロトタイピングにおける新たなプラクティスと役割シフトを浮き彫りにしている。
論文 参考訳（メタデータ） (2024-02-27T17:56:10Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳（メタデータ） (2022-09-07T10:09:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。