論文の概要: Automated Coding of Communications in Collaborative Problem-solving Tasks Using ChatGPT
- arxiv url: http://arxiv.org/abs/2411.10246v3
- Date: Wed, 07 May 2025 15:14:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-08 17:02:58.786775
- Title: Automated Coding of Communications in Collaborative Problem-solving Tasks Using ChatGPT
- Title（参考訳）: ChatGPTを用いた協調問題解決作業におけるコミュニケーションの自動符号化
- Authors: Jiangang Hao, Wenju Cui, Patrick Kyllonen, Emily Kerzabi, Lei Liu, Michael Flor,
- Abstract要約: 協調問題解決(CPS)は21世紀の重要な技術として広く認められている。
本稿では,ChatGPTが通信データを満足なレベルに符号化できることを示す。
また、誤コードされたケースからのフィードバックに基づく書き換えプロンプトにより、符号化精度が向上することを示す。
- 参考スコア（独自算出の注目度）: 4.2702945607449605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collaborative problem solving (CPS) is widely recognized as a critical 21st-century skill. Assessing CPS depends heavily on coding the communication data using a construct-relevant framework, and this process has long been a major bottleneck to scaling up such assessments. Based on five datasets and two coding frameworks, we demonstrate that ChatGPT can code communication data to a satisfactory level, though performance varies across ChatGPT models, and depends on the coding framework and task characteristics. Interestingly, newer reasoning-focused models such as GPT-o1-mini and GPT-o3-mini do not necessarily yield better coding results. Additionally, we show that refining prompts based on feedback from miscoded cases can improve coding accuracy in some instances, though the effectiveness of this approach is not consistent across all tasks. These findings offer practical guidance for researchers and practitioners in developing scalable, efficient methods to analyze communication data in support of 21st-century skill assessment.
- Abstract（参考訳）: 協調問題解決(CPS)は21世紀の重要な技術として広く認められている。
CPSを評価することは、構成関連フレームワークを使用して通信データをコーディングすることに大きく依存する。
5つのデータセットと2つのコーディングフレームワークに基づいて、ChatGPTは、ChatGPTモデルによってパフォーマンスが異なり、コーディングフレームワークとタスク特性に依存するが、十分なレベルまで通信データをコーディングできることを実証する。
興味深いことに、GPT-o1-miniやGPT-o3-miniといった新しい推論モデルでは、必ずしもより良いコーディング結果が得られるとは限らない。
さらに、誤コードされたケースからのフィードバックに基づく修正プロンプトは、すべてのタスクにおいて、このアプローチの有効性が整合性に欠けるにもかかわらず、一部のケースでのコーディング精度を向上させることができることを示す。
これらの知見は、21世紀のスキルアセスメントを支援するために、スケーラブルで効率的なコミュニケーションデータ分析手法を開発する研究者や実践者に実践的なガイダンスを提供する。
関連論文リスト
- PSCon: Product Search Through Conversations [55.94925947614474]
Conversational Product Search (CPS)システムは自然言語でユーザと対話し、パーソナライズされたコンテキスト対応の製品リストを提供する。
CPSに関する既存の研究のほとんどは、人間のような言語によって駆動される実際のCPSデータセットが欠如しているため、シミュレートされた会話に限られている。
本稿では,CPSデータ収集プロトコルを提案し,PSConと呼ばれる新しいCPSデータセットを作成する。
論文 参考訳（メタデータ） (2025-02-19T17:05:42Z) - Assessing the Promise and Pitfalls of ChatGPT for Automated Code
Generation [2.0400340435492272]
本稿では,著名な大規模言語モデルであるChatGPTのコード生成能力を総合的に評価する。
5つのカテゴリにまたがる131のコード生成プロンプトのデータセットをキュレートして、堅牢な分析を可能にした。
コードソリューションはChatGPTと人間によってすべてのプロンプトで生成され、262のコードサンプルが得られた。
論文 参考訳（メタデータ） (2023-11-05T12:56:40Z) - DevGPT: Studying Developer-ChatGPT Conversations [12.69439932665687]
本稿では、ソフトウェア開発者がChatGPTとどのように相互作用するかを調査するためのデータセットであるDevGPTを紹介する。
データセットには、ChatGPTからの29,778のプロンプトとレスポンスが含まれており、コードスニペットは19,106である。
論文 参考訳（メタデータ） (2023-08-31T06:55:40Z) - Extending the Frontier of ChatGPT: Code Generation and Debugging [0.0]
OpenAIが開発したChatGPTは,さまざまな問題領域に取り組むために人工知能(AI)を活用することによって,新たな時代を迎えている。
本稿では,ChatGPTのプログラミング問題に対する有効性について検討し,時間とメモリの複雑さの観点から,その解の正しさと効率性について検討する。
この研究は、ChatGPTが正しいソリューションを提供することができた問題の割合を示すため、総成功率は71.875%であることを示した。
論文 参考訳（メタデータ） (2023-07-17T06:06:58Z) - Unmasking the giant: A comprehensive evaluation of ChatGPT's proficiency in coding algorithms and data structures [0.6990493129893112]
本稿では,ChatGPTが入力した問題に対する正しい解を生成する能力,コード品質,コードによってスローされる実行時エラーの性質を評価する。
この種の状況において、ChatGPTコードがいかに間違っているか、いくつかの洞察を得るために、パスされたテストケースのパターンを調べます。
論文 参考訳（メタデータ） (2023-07-10T08:20:34Z) - A Systematic Study and Comprehensive Evaluation of ChatGPT on Benchmark
Datasets [19.521390684403293]
本稿では,ChatGPTの性能を多種多様な学術データセット上で徹底的に評価する。
具体的には、140タスクにわたるChatGPTを評価し、これらのデータセットで生成される255Kの応答を分析する。
論文 参考訳（メタデータ） (2023-05-29T12:37:21Z) - ChatGraph: Interpretable Text Classification by Converting ChatGPT
Knowledge to Graphs [54.48467003509595]
ChatGPTは、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを示している。
テキスト分類などの特定のタスクにChatGPTのパワーを利用する新しいフレームワークを提案する。
本手法は,従来のテキスト分類法と比較して,より透過的な意思決定プロセスを提供する。
論文 参考訳（メタデータ） (2023-05-03T19:57:43Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z) - Exploiting Unsupervised Data for Emotion Recognition in Conversations [76.01690906995286]
会話における感情認識(Emotion Recognition in Conversations:ERC)は、会話における話者の感情状態を予測することを目的としている。
ERCタスクの教師付きデータは限られている。
教師なし会話データを活用する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-02T13:28:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。