論文の概要: Oversight in Action: Experiences with Instructor-Moderated LLM Responses in an Online Discussion Forum

• arxiv url: http://arxiv.org/abs/2412.09048v1
• Date: Thu, 12 Dec 2024 08:17:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 17:02:10.403621
• Title: Oversight in Action: Experiences with Instructor-Moderated LLM Responses in an Online Discussion Forum
• Title（参考訳）: 行動の監視:オンラインディスカッションフォーラムにおけるインストラクタ修飾LDM応答の経験
• Authors: Shuying Qiao, Paul Denny, Nasser Giacaman,
• Abstract要約: 本稿では,インストラクターが制御するボットモジュールの設計,展開,評価について述べる。 ボットは、学生の質問に対するドラフトレスポンスを生成し、リリース前にレビュー、修正、承認される。 我々は、オブジェクト指向プログラミングに関する12週間のソフトウェア工学コースで、このツールを使った経験を報告する。
• 参考スコア（独自算出の注目度）: 2.86800540498016
• License:
• Abstract: The integration of large language models (LLMs) into computing education offers many potential benefits to student learning, and several novel pedagogical approaches have been reported in the literature. However LLMs also present challenges, one of the most commonly cited being that of student over-reliance. This challenge is compounded by the fact that LLMs are always available to provide instant help and solutions to students, which can undermine their ability to independently solve problems and diagnose and resolve errors. Providing instructor oversight of LLM-generated content can mitigate this problem, however it is often not practical in real-time learning contexts. Online class discussion forums, which are widely used in computing education, present an opportunity for exploring instructor oversight because they operate asynchronously. Unlike real-time interactions, the discussion forum format aligns with the expectation that responses may take time, making oversight not only feasible but also pedagogically appropriate. In this practitioner paper, we present the design, deployment, and evaluation of a `bot' module that is controlled by the instructor, and integrated into an online discussion forum. The bot assists the instructor by generating draft responses to student questions, which are reviewed, modified, and approved before release. Key features include the ability to leverage course materials, access archived discussions, and publish responses anonymously to encourage open participation. We report our experiences using this tool in a 12-week second-year software engineering course on object-oriented programming. Instructor feedback confirmed the tool successfully alleviated workload but highlighted a need for improvement in handling complex, context-dependent queries. We report the features that were viewed as most beneficial, and suggest avenues for future exploration.
• Abstract（参考訳）: 大規模言語モデル(LLM)のコンピューティング教育への統合は、学生の学習に多くの潜在的利益をもたらし、この文献ではいくつかの新しい教育的アプローチが報告されている。 しかし、LSMにも課題があり、最も一般的に引用されるのは学生の過信である。 この課題は、LLMが学生に即時支援と解決策を提供するために常に利用可能であり、独立して問題を解決する能力やエラーの診断と解決の能力を損なう可能性があるという事実によって複雑化している。 LLM生成コンテンツのインストラクターによる監視はこの問題を軽減することができるが、リアルタイム学習の文脈では実用的ではないことが多い。 コンピュータ教育で広く使われているオンラインクラスディスカッションフォーラムは,非同期に運用されるため,教師の監督を探求する機会を提供する。 リアルタイムの対話とは異なり、議論フォーラム形式は応答に時間がかかるという期待と一致しており、監視は実現可能であるだけでなく、教育的にも適切である。 本稿では,インストラクターによって制御され,オンラインディスカッションフォーラムに統合されたボットモジュールの設計,展開,評価について述べる。 ボットは、リリース前にレビュー、修正、承認された学生質問に対するドラフト応答を生成することで、インストラクターを支援する。 主な機能としては、コース資料の活用、アーカイブされた議論へのアクセス、オープンな参加を促すために匿名で回答を公開する機能などがある。 我々は、オブジェクト指向プログラミングに関する12週間のソフトウェア工学コースで、このツールを使った経験を報告する。 インストラクタからのフィードバックにより、このツールはワークロードの軽減に成功したが、複雑なコンテキスト依存のクエリを扱うための改善の必要性を強調した。 我々は、最も有益と見なされた特徴を報告し、今後の探索の道筋を示唆する。

関連論文リスト

• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
  本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。 CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。 ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-09-11T17:59:01Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning [3.2721068185888127]
  本稿では,学生に動的かつ文脈的フィードバックを提供する概念実証アプリケーションを提案する。 具体的には、ChatGPTを使って、大学レベルのクラウドコンピューティングコースのためのオンラインプログラミング演習ボットを拡張します。 LLMは、コンテキスト内で発生する協調的な議論の詳細を組み込んだ、高度に位置決めされたリフレクショントリガを生成するために使用できることを実証する。
  論文  参考訳（メタデータ） (2024-04-28T17:56:14Z)
• Next-Step Hint Generation for Introductory Programming Using Large Language Models [0.8002196839441036]
  大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。 本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
  論文  参考訳（メタデータ） (2023-12-03T17:51:07Z)
• Patterns of Student Help-Seeking When Using a Large Language Model-Powered Programming Assistant [2.5949084781328744]
  本研究は,オンデマンドプログラミング支援を行う革新的なツールを学生が直接ソリューションを明らかにすることなく活用することを検討する。 私たちは学期を通して2500以上の質問を学生から集めました。 しかし、関連する概念や概念理解の深化のために支援を求める要求は少ない。
  論文  参考訳（メタデータ） (2023-10-25T20:36:05Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• A large language model-assisted education tool to provide feedback on open-ended responses [2.624902795082451]
  本稿では,大規模言語モデル (LLM) をインストラクター定義基準でガイドし,オープンエンド質問に対する応答を自動化するツールを提案する。 本ツールでは,素早いパーソナライズされたフィードバックを提供することで,学生が知識を迅速にテストし,改善すべき領域を特定できる。
  論文  参考訳（メタデータ） (2023-07-25T19:49:55Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。