論文の概要: Evaluating Machine Expertise: How Graduate Students Develop Frameworks for Assessing GenAI Content
- arxiv url: http://arxiv.org/abs/2504.17964v1
- Date: Thu, 24 Apr 2025 22:24:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.589622
- Title: Evaluating Machine Expertise: How Graduate Students Develop Frameworks for Assessing GenAI Content
- Title（参考訳）: 機械専門家の評価:大学院生がどのようにGenAIコンテンツを評価するフレームワークを開発するか
- Authors: Celia Chen, Alex Leitch,
- Abstract要約: 本稿では,大学院生が大規模言語モデル(LLM)を用いたWebベースインタラクションにおいて,機械生成の専門知識を評価するためのフレームワークを開発する方法について検討する。
その結果, 学生は, 職業的アイデンティティ, 検証能力, システムナビゲーション経験の3つの要因により, 評価フレームワークを構築していることがわかった。
- 参考スコア（独自算出の注目度）: 1.967444231154626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper examines how graduate students develop frameworks for evaluating machine-generated expertise in web-based interactions with large language models (LLMs). Through a qualitative study combining surveys, LLM interaction transcripts, and in-depth interviews with 14 graduate students, we identify patterns in how these emerging professionals assess and engage with AI-generated content. Our findings reveal that students construct evaluation frameworks shaped by three main factors: professional identity, verification capabilities, and system navigation experience. Rather than uniformly accepting or rejecting LLM outputs, students protect domains central to their professional identities while delegating others--with managers preserving conceptual work, designers safeguarding creative processes, and programmers maintaining control over core technical expertise. These evaluation frameworks are further influenced by students' ability to verify different types of content and their experience navigating complex systems. This research contributes to web science by highlighting emerging human-genAI interaction patterns and suggesting how platforms might better support users in developing effective frameworks for evaluating machine-generated expertise signals in AI-mediated web environments.
- Abstract（参考訳）: 本稿では,大学院生が大規模言語モデル(LLM)を用いたWebベースインタラクションにおいて,機械生成の専門知識を評価するためのフレームワークを開発する方法について検討する。
本研究は,14人の大学院生を対象に行った調査,LLMインタラクションの書き起こし,詳細なインタビューを組み合わせた質的研究を通じて,これらの新進プロフェッショナルがAI生成コンテンツをどのように評価し,関与するかのパターンを明らかにした。
その結果, 学生は, 職業的アイデンティティ, 検証能力, システムナビゲーション経験の3つの要因により, 評価フレームワークを構築していることがわかった。
LLMのアウトプットを均一に受け入れたり拒否する代わりに、学生は専門的なアイデンティティの中心にあるドメインを保護し、他人を委譲する。
これらの評価フレームワークは、学生が様々なタイプのコンテンツを検証する能力と、複雑なシステムをナビゲートする経験にさらに影響を受けている。
この研究は、新たな人間-AIインタラクションパターンを強調し、AIを介するWeb環境において、マシン生成の専門知識信号を評価する効果的なフレームワークを開発する上で、プラットフォームがいかにユーザを支援するかを提案することによって、Webサイエンスに寄与する。
関連論文リスト
- Beyond the Classroom: Bridging the Gap Between Academia and Industry with a Hands-on Learning Approach [2.8123958518740544]
自己適応型ソフトウェアシステムは、ソフトウェア設計と運用に重要な焦点をあてている。
実践者の調査では、知識のある個人が不足しているため、業界における採用が妨げられている。
我々は、理論知識とハンズオン学習を産業関連技術と統合した自己適応型ソフトウェアシステムでコースを教える経験を提示する。
論文 参考訳（メタデータ） (2025-04-14T21:32:25Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - Level Up Peer Review in Education: Investigating genAI-driven Gamification system and its influence on Peer Feedback Effectiveness [0.8087870525861938]
本稿では、Generative AI(GenAI)アシストと統合されたゲーミフィケーションピアアセスメントプラットフォームであるSocratiqueを紹介する。
Socratiqueはゲーム要素を取り入れることで、学生により多くのフィードバックを提供する動機付けを目指している。
治療群では, 明瞭度, 関連性, 特異性について, より自発的なフィードバックが得られた。
論文 参考訳（メタデータ） (2025-04-03T18:30:25Z) - A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。
大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。
本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
論文 参考訳（メタデータ） (2025-03-27T17:58:31Z) - LLM Agents for Education: Advances and Applications [49.3663528354802]
大規模言語モデル(LLM)エージェントは、タスクの自動化と多様な教育アプリケーションにおけるイノベーションの推進において、顕著な能力を示した。
本調査は、LLMエージェントの総合的技術概要を提供することを目的としており、学習者や教育者のより大きな利益に対する影響を高めるために、さらなる研究と協力を促進することを目的としている。
論文 参考訳（メタデータ） (2025-03-14T11:53:44Z) - Human-Centered Design for AI-based Automatically Generated Assessment Reports: A Systematic Review [4.974197456441281]
本研究は,ユーザ中心・直感的デザインによる教師の認知的要求を減らすことの重要性を強調した。
テキスト、視覚支援、プロットなどの多様な情報提示フォーマットや、ユーザビリティを高めるためのライブやインタラクティブ機能などの高度な機能の可能性を強調します。
このフレームワークは、教師が技術強化された評価結果に取り組み、データ駆動による意思決定を容易にし、教育と学習プロセスを改善するためのパーソナライズされたフィードバックを提供することの課題に対処することを目的としている。
論文 参考訳（メタデータ） (2024-12-30T16:20:07Z) - GUI Agents: A Survey [129.94551809688377]
グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。
GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
論文 参考訳（メタデータ） (2024-12-18T04:48:28Z) - User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
この研究はHuman-Centered Artificial Intelligence (HCAI)にある。
一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
論文 参考訳（メタデータ） (2024-10-21T12:32:39Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z) - Constraining Participation: Affordances of Feedback Features in Interfaces to Large Language Models [49.74265453289855]
大規模言語モデル(LLM)は、コンピュータ、Webブラウザ、ブラウザベースのインターフェースによるインターネット接続を持つ人なら誰でも利用できるようになった。
本稿では,ChatGPTインタフェースにおける対話型フィードバック機能の可能性について検討し,ユーザ入力の形状やイテレーションへの参加について分析する。
論文 参考訳（メタデータ） (2024-08-27T13:50:37Z) - Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences [0.0]
この研究は、ITSのフィードバック生成に関する以前の研究を通し、AIEDの研究を慎重に支援するものである。
本論文の主な貢献は次のとおりである。 生成AIの時代におけるフィードバック生成において、より慎重で理論的に基礎付けられた手法を適用すること。
論文 参考訳（メタデータ） (2024-05-07T20:09:18Z) - Prototyping with Prompts: Emerging Approaches and Challenges in Generative AI Design for Collaborative Software Teams [2.237039275844699]
生成型AIモデルは、人間のタスクに統合され、表現力のあるコンテンツの制作が可能になっている。
従来のヒューマンAI設計手法とは異なり、生成能力を設計するための新しいアプローチは、迅速なエンジニアリング戦略に重点を置いている。
我々の発見は、マルチステークホルダーチーム間のAIシステムのプロトタイピングにおける新たなプラクティスと役割シフトを浮き彫りにしている。
論文 参考訳（メタデータ） (2024-02-27T17:56:10Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳（メタデータ） (2022-09-07T10:09:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。