論文の概要: A Picture Is Worth a Thousand Words: Exploring Diagram and Video-Based
OOP Exercises to Counter LLM Over-Reliance
- arxiv url: http://arxiv.org/abs/2403.08396v1
- Date: Wed, 13 Mar 2024 10:21:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:43:29.667255
- Title: A Picture Is Worth a Thousand Words: Exploring Diagram and Video-Based
OOP Exercises to Counter LLM Over-Reliance
- Title(参考訳): ダイアグラムと動画を検索する「数千語」の価値ある写真
OOP が LLM のオーバー信頼対策を実施
- Authors: Bruno Pereira Cipriano, Pedro Alves, Paul Denny
- Abstract要約: 大規模言語モデル(LLM)は、テキストベースの仕様で、より複雑なオブジェクト指向プログラミング(OOP)の課題を効果的に解決することができる。
これは、学生がこれらのモデルを使って非倫理的に課題を完了させるため、学術的完全性に対する懸念を提起する。
本稿では,OOP の授業において,学生の課題解決を奨励し,学生をコピー・アンド・プロンプト・アプローチから遠ざける方法として,図表やビデオを用いてOOP タスクを定式化する革新的な手法を提案する。
- 参考スコア(独自算出の注目度): 2.1490831374964587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Much research has highlighted the impressive capabilities of large language
models (LLMs), like GPT and Bard, for solving introductory programming
exercises. Recent work has shown that LLMs can effectively solve a range of
more complex object-oriented programming (OOP) exercises with text-based
specifications. This raises concerns about academic integrity, as students
might use these models to complete assignments unethically, neglecting the
development of important skills such as program design, problem-solving, and
computational thinking. To address this, we propose an innovative approach to
formulating OOP tasks using diagrams and videos, as a way to foster
problem-solving and deter students from a copy-and-prompt approach in OOP
courses. We introduce a novel notation system for specifying OOP assignments,
encompassing structural and behavioral requirements, and assess its use in a
classroom setting over a semester. Student perceptions of this approach are
explored through a survey (n=56). Generally, students responded positively to
diagrams and videos, with video-based projects being better received than
diagram-based exercises. This notation appears to have several benefits, with
students investing more effort in understanding the diagrams and feeling more
motivated to engage with the video-based projects. Furthermore, students
reported being less inclined to rely on LLM-based code generation tools for
these diagram and video-based exercises. Experiments with GPT-4 and Bard's
vision abilities revealed that they currently fall short in interpreting these
diagrams to generate accurate code solutions.
- Abstract(参考訳): GPTやBardのような大規模言語モデル(LLM)の、入門プログラミングの課題を解決するための優れた能力を、多くの研究が強調している。
最近の研究は、LLMがテキストベースの仕様でより複雑なオブジェクト指向プログラミング(OOP)の課題を効果的に解決できることを示した。
これは、学生がこれらのモデルを使って非倫理的に課題を完了し、プログラム設計、問題解決、計算思考といった重要なスキルの開発を無視するので、学術的整合性に関する懸念を提起する。
そこで本研究では,OOP の授業において,学生の課題解決を奨励し,生徒をコピー・アンド・プロンプト・アプローチから遠ざける方法として,図表やビデオを用いてOOP タスクを定式化するための革新的なアプローチを提案する。
本稿では,OOPの割り当てを規定し,構造的および行動的要求を包含する新しい表記法を導入し,その利用を1学期にわたって教室で評価する。
このアプローチに対する学生の認識は、調査(n=56)を通して探索される。
一般に、学生は図やビデオに肯定的に反応し、ビデオベースのプロジェクトは図ベースのエクササイズよりも受け取られている。
この表記法にはいくつかの利点があるようで、学生はダイアグラムの理解により多くの努力を払っており、ビデオベースのプロジェクトに取り組む動機があると感じている。
さらに、学生はこれらの図やビデオベースの演習にLLMベースのコード生成ツールに頼る傾向が低いと報告した。
GPT-4とBardの視覚能力の実験では、これらの図を解釈して正確なコード解を生成するのに不足していることが判明した。
関連論文リスト
- Towards Versatile Graph Learning Approach: from the Perspective of Large
Language Models [40.58843080489752]
大きな言語モデル(LLM)は、豊富な知識と人間のような知性のために潜在的な解決策を提供する。
本稿では LLM を用いた多目的グラフ学習手法の設計のための新しい概念的プロトタイプを提案する。
論文 参考訳(メタデータ) (2024-02-18T16:43:21Z) - MouSi: Poly-Visual-Expert Vision-Language Models [132.58949014605477]
本稿では,個々の視覚エンコーダの能力の相乗化にアンサンブルエキスパート技術を用いることを提案する。
この技術は、異なる視覚専門家の出力の処理を統一する融合ネットワークを導入する。
本実装では,SAMなどのモデルにおける位置占有率を,実質的な4096からより効率的で管理可能な64,さらには1。
論文 参考訳(メタデータ) (2024-01-30T18:09:11Z) - DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language
Models [78.43468551763303]
我々は,動的ビデオタスクを扱うLLMによって駆動される包括的かつ概念的にエレガントなシステムであるドラモンGPTを考案した。
質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。
3つのベンチマークでDoraemonGPTの有効性を広く評価した。
論文 参考訳(メタデータ) (2024-01-16T14:33:09Z) - CLOVA: A Closed-Loop Visual Assistant with Tool Usage and Update [73.08470271514605]
この制限に対処するクローズドループビジュアルアシスタントであるCLOVAを提案する。
推論中、LLMはプログラムを生成し、与えられたタスクを達成するための対応するツールを実行する。
リフレクションフェーズではマルチモーダルなグローバルローカルリフレクション方式を導入し、どのツールを更新する必要があるかを分析する。
学習フェーズは3つのフレキシブルな方法でトレーニングデータをリアルタイムで収集し、ツールを更新するための新しいプロンプトチューニングスキームを導入する。
論文 参考訳(メタデータ) (2023-12-18T03:34:07Z) - Next-Step Hint Generation for Introductory Programming Using Large
Language Models [0.8002196839441036]
大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。
本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
論文 参考訳(メタデータ) (2023-12-03T17:51:07Z) - De-fine: Decomposing and Refining Visual Programs with Auto-Feedback [81.08213203440634]
De-fineは複雑なタスクを単純なサブタスクに分解し、自動フィードバックによってプログラムを洗練するフレームワークである。
様々な視覚的タスクを対象とした実験により、De-fineはより正確で堅牢なプログラムを作成し、新しいベンチマークをフィールドに設定した。
論文 参考訳(メタデータ) (2023-11-21T06:24:09Z) - CodeHelp: Using Large Language Models with Guardrails for Scalable
Support in Programming Classes [2.5949084781328744]
大規模言語モデル(LLM)が最近登場し、大規模なオンデマンドヘルプの提供を約束している。
CodeHelpは、ガードレールで設計された新しいLLMツールで、直接ソリューションを公開することなく、プログラミングの学生にオンデマンドで支援を提供する。
以上の結果から,CodeHelpは特に有効性を高く評価し,誤りの解消に寄与する学生に好意的に受け入れられていることが示唆された。
論文 参考訳(メタデータ) (2023-08-14T03:52:24Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Object Relational Graph with Teacher-Recommended Learning for Video
Captioning [92.48299156867664]
本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。
具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。
一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
論文 参考訳(メタデータ) (2020-02-26T15:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。