論文の概要: Decoding Human-LLM Collaboration in Coding: An Empirical Study of Multi-Turn Conversations in the Wild

• arxiv url: http://arxiv.org/abs/2512.10493v2
• Date: Fri, 12 Dec 2025 12:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 13:50:29.191104
• Title: Decoding Human-LLM Collaboration in Coding: An Empirical Study of Multi-Turn Conversations in the Wild
• Title（参考訳）: 符号化における人間-LLM協調の復号--野生における多言語会話の実証的研究
• Authors: Binquan Zhang, Li Zhang, Haoyuan Zhang, Fang Liu, Song Wang, Bo Shen, An Fu, Lin Shi,
• Abstract要約: LMSYS-Chat-1MとWildChatのデータセットを用いて,人間とLLMのコーディングコラボレーションに関する実証分析を行った。 コード品質の最適化は線形パターン、デザイン駆動のタスクはツリー構造に傾き、クエリはスターパターンを好む。 この研究は、人間とLLMのシナジーの理解を広げ、より効果的なAI支援開発を支援すると信じている。
• 参考スコア（独自算出の注目度）: 15.241064679369407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly acting as dynamic conversational interfaces, supporting multi-turn interactions that mimic human-like conversation and facilitate complex tasks like coding. While datasets such as LMSYS-Chat-1M and WildChat capture real-world user-LLM conversations, few studies systematically explore the mechanisms of human-LLM collaboration in coding scenarios. What tortuous paths do users experience during the interaction process? How well do the LLMs follow instructions? Are users satisfied? In this paper, we conduct an empirical analysis on human-LLM coding collaboration using LMSYS-Chat-1M and WildChat datasets to explore the human-LLM collaboration mechanism, LLMs' instruction following ability, and human satisfaction. This study yields interesting findings: 1) Task types shape interaction patterns(linear, star and tree), with code quality optimization favoring linear patterns, design-driven tasks leaning toward tree structures, and queries preferring star patterns; 2) Bug fixing and code refactoring pose greater challenges to LLMs' instruction following, with non-compliance rates notably higher than in information querying; 3) Code quality optimization and requirements-driven development tasks show lower user satisfaction, whereas structured knowledge queries and algorithm designs yield higher levels. These insights offer recommendations for improving LLM interfaces and user satisfaction in coding collaborations, while highlighting avenues for future research on adaptive dialogue systems. We believe this work broadens understanding of human-LLM synergies and supports more effective AI-assisted development.
• Abstract（参考訳）: 大規模言語モデル(LLM)は動的な対話インタフェースとして機能し、人間のような会話を模倣するマルチターンインタラクションをサポートし、コーディングのような複雑なタスクを促進する。 LMSYS-Chat-1MやWildChatのようなデータセットは現実世界のユーザとLLMの会話をキャプチャするが、コーディングシナリオにおける人間とLLMのコラボレーションのメカニズムを体系的に研究する研究はほとんどない。 インタラクションプロセスの間、ユーザはどんな厳しいパスを経験しますか? LLMはどの程度の指示に従うのか? ユーザは満足しているか? 本稿では,LMSYS-Chat-1MとWildChatデータセットを用いて,人間とLLMの協調機構,LLMの指示追従能力,人間の満足度を探索する。 この研究は興味深い結果をもたらす。 1) タスクタイプの形状相互作用パターン(線形,星,木)、線形パターンを好むコード品質最適化、ツリー構造に傾いたデザイン駆動タスク、スターパターンを好むクエリ。 2) バグの修正とコードリファクタリングは,情報クエリよりも順応率が高く,かつ,LCMの指示に従う上で大きな課題となる。 3)コード品質の最適化と要件駆動開発タスクはユーザの満足度を低下させる一方,構造化知識クエリとアルゴリズム設計はより高いレベルを得る。 これらの洞察は、LLMインタフェースの改善とコーディングコラボレーションにおけるユーザの満足度向上のためのレコメンデーションを提供するとともに、アダプティブ対話システムに関する今後の研究への道のりを強調している。 この研究は、人間とLLMのシナジーの理解を広げ、より効果的なAI支援開発を支援すると信じている。

関連論文リスト

• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• AI-Guided Exploration of Large-Scale Codebases [0.0]
  大きな言語モデル(LLM)は、コードの探索を強化する新しい機会を提供する。 大規模言語モデル(LLM)の最近の進歩は、コードの探索を強化する新しい機会を提供する。 この研究は、リバースエンジニアリングとLLM誘導型、意図認識型視覚探索を統合するハイブリッドアプローチを導入している。
  論文  参考訳（メタデータ） (2025-08-07T19:15:37Z)
• Improving LLM Agent Planning with In-Context Learning via Atomic Fact Augmentation and Lookahead Search [48.348209577994865]
  大規模言語モデル(LLM)はますます有能になるが、複雑で対話的な環境で効果的に機能するためには、重要なガイダンスや広範な相互作用履歴を必要とすることが多い。 テキスト内学習による計画能力を高める新しいLLMエージェントフレームワークを提案する。 我々のエージェントは、その相互作用軌跡からタスククリティカルな原子事実'を抽出することを学ぶ。
  論文  参考訳（メタデータ） (2025-06-10T18:36:31Z)
• Conversational AI as a Coding Assistant: Understanding Programmers' Interactions with and Expectations from Large Language Models for Coding [5.064404027153094]
  大規模言語モデル(LLM)を利用した会話型AIインタフェースは、コーディングアシスタントとしてますます利用されている。 本研究は,LLM駆動型コーディングアシスタントにおけるプログラマの利用パターン,知覚,インタラクション戦略について検討する。
  論文  参考訳（メタデータ） (2025-03-14T15:06:07Z)
• Analysis of Student-LLM Interaction in a Software Engineering Project [1.2233362977312945]
  我々は、ソフトウェア工学学習におけるAIのメリットを理解するために、13週間の学期で126人の学部生とAIアシスタントとのインタラクションを分析した。 以上の結果から,CoPilotよりもChatGPTが好ましいことが示唆された。 会話ベースのインタラクションは、自動生成コードと比較して生成されたコードの品質を改善するのに役立つ。
  論文  参考訳（メタデータ） (2025-02-03T11:44:00Z)
• Understanding the Human-LLM Dynamic: A Literature Survey of LLM Use in Programming Tasks [0.850206009406913]
  大規模言語モデル(LLM)はプログラミングプラクティスを変革し、コード生成活動に重要な機能を提供する。 本稿では,LLMがプログラミングタスクに与える影響を評価するユーザスタディから洞察を得た上で,プログラミングタスクにおけるそれらの使用に焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-01T19:34:46Z)
• CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
  マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。 本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• PLAYER*: Enhancing LLM-based Multi-Agent Communication and Interaction in Murder Mystery Games [21.639516389561837]
  我々はMurder Mystery Games(MMG)におけるマルチエージェント会話推論のための推論データセットWellPlayを紹介する。 WellPlayは12のゲームにまたがる1,482の推論質問で構成されている。 MMGにおけるLarge Language Model(LLM)ベースのエージェントのための新しいフレームワークPLAYER*を提案する。
  論文  参考訳（メタデータ） (2024-04-26T19:07:30Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。