論文の概要: On the Prospects of Dynamic LLM Conversations in Software Development
- arxiv url: http://arxiv.org/abs/2608.30756v1
- Date: Mon, 31 Aug 2026 13:24:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.414827
- Title: On the Prospects of Dynamic LLM Conversations in Software Development
- Title(参考訳): ソフトウェア開発における動的LLM会話の展望
- Abstract要約: 大規模言語モデル(LLM)は、開発者を支援する上で不可欠なツールになっていますが、開発活動中のインタラクションを効果的にサポートする方法については、まだ知識がありません。
私たちのゴールは、LLMとのインタラクションへの介入がソフトウェア開発者に影響を与えるかどうかを評価することです。
- 参考スコア(独自算出の注目度): 4.493833585181156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have become an essential tool for assisting developers, yet we still lack knowledge on ways to effectively support their interactions during development activities. That is, the quality of interactions with a chat-based LLM still strongly depends on how developers phrase prompts and which information they include. Our goal is to evaluate whether interventions into these interactions with LLMs have an effect on software developers---be it harmful or beneficial. To this end, we conducted a four-month longitudinal study with third-semester computer science students working on a full-stack Web development project using chat-based LLMs under three conditions: (1) a \emph{context}-aware group received intent-based conversation augmentation, (2) a \emph{proactive} group received follow-up suggestions and tailored advice, and (3) a \emph{control} group without intervention. Our augmentations are minimal: (i) to reduce confounding factors and (ii) to isolate treatment effects. Analyzing interaction logs and user surveys revealed no major differences in interaction patterns, indicating no detectable harmful effects in the measured outcomes when intervening in interactions. Moreover, we observed trends of increased satisfaction with the \emph{proactive} treatment. The results indicate that even with minimal interventions, dynamic guidance mechanisms for developer-LLM interactions show observable effects, such that more severe augmentations may have the potential to substantially improve developer satisfaction.
- Abstract(参考訳): 大規模言語モデル(LLM)は、開発者を支援する上で不可欠なツールになっていますが、開発活動中のインタラクションを効果的にサポートする方法については、まだ知識がありません。
つまり、チャットベースのLLMとのインタラクションの質は、開発者によるプロンプトの仕方と、それらに含まれる情報に大きく依存している。
私たちのゴールは、LLMとのインタラクションへの介入がソフトウェア開発者に影響を与えるかどうかを評価することです。
この目的のために,3学期コンピュータサイエンスの学生を対象に,(1)emph{context}-aware group received intent-based conversation augmentation,(2)emph{proactive} group received follow-up suggestions and tailored advice,(3)emph{control} group without intervention。
私たちの拡張は最小限です。
一 相反する要因を減らし、
(ii)治療効果を分離する。
インタラクションログとユーザ調査を解析したところ、インタラクションパターンに大きな違いは見られず、インタラクションに介入する際の測定結果に有害な影響は認められなかった。
さらに,emph{proactive>治療で満足度が上昇する傾向がみられた。
その結果、最小限の介入であっても、開発者とLLMの相互作用に対する動的誘導機構は観察可能な効果を示し、より厳密な増強が開発者の満足度を大幅に改善する可能性が示唆された。
関連論文リスト
- Persuasive and Compliant Tendencies Predict Group Decision-Making in Humans and Language Models [65.21691850622413]
大規模言語モデル(LLM)は、人間との集団意思決定にますます関与している。
本稿では,各モデルの説得性およびコンプライアンス傾向を測定するための質問紙ベースのフレームワークであるDecisionQEを紹介する。
より強い説得傾向はグループの結果を著しく改善しないが、コンプライアンス指向モデルは協調においてより安定した優位性を示す。
論文 参考訳(メタデータ) (2026-08-08T15:50:56Z) - Decoding Human-LLM Collaboration in Coding: An Empirical Study of Multi-Turn Conversations in the Wild [15.241064679369407]
LMSYS-Chat-1MとWildChatのデータセットを用いて,人間とLLMのコーディングコラボレーションに関する実証分析を行った。
コード品質の最適化は線形パターン、デザイン駆動のタスクはツリー構造に傾き、クエリはスターパターンを好む。
この研究は、人間とLLMのシナジーの理解を広げ、より効果的なAI支援開発を支援すると信じている。
論文 参考訳(メタデータ) (2025-12-11T10:14:42Z) - Beyond Description: Cognitively Benchmarking Fine-Grained Action for Embodied Agents [52.14392337070763]
CFG-Benchは、きめ細かな動作インテリジェンスを体系的に評価する新しいベンチマークである。
CFG-Benchは、1,368のキュレートされたビデオと19,562の3つのモダリティからなる質問応答ペアからなる。
CFG-Benchに関する包括的評価から,MLLMの先導者は,物理的相互作用の詳細な指示を生成するのに苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2025-11-24T02:02:29Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - Evaluating the Effectiveness of Large Language Models in Solving Simple Programming Tasks: A User-Centered Study [1.0467092641687232]
本研究では,ChatGPT-4oとのインタラクションスタイルの違いが,単純なプログラミングタスクにおけるユーザパフォーマンスに与える影響について検討する。
15人の高校生が3種類のモデルで3つの問題を完成させた。
論文 参考訳(メタデータ) (2025-07-05T13:52:31Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳(メタデータ) (2025-02-18T17:12:26Z) - Feedback Loops With Language Models Drive In-Context Reward Hacking [78.9830398771605]
フィードバックループがコンテキスト内報酬ハッキング(ICRH)を引き起こす可能性があることを示す。
ICRHに繋がる2つのプロセス、すなわちアウトプット・リファインメントとポリシー・リファインメントを同定し研究する。
AI開発が加速するにつれて、フィードバックループの効果が増大する。
論文 参考訳(メタデータ) (2024-02-09T18:59:29Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - Feedback Effect in User Interaction with Intelligent Assistants: Delayed
Engagement, Adaption and Drop-out [9.205174767678365]
本稿では,IA-ユーザインタラクションにおける新たなコンポーネントであるフィードバック効果の同定と定量化を行う。
IAからの不快な反応は、ユーザがその後の対話を遅らせたり遅らせる原因となることを示す。
ユーザがIAの理解と機能能力の限界を発見すると、ユーザは要求のスコープとワードの調整を学ぶ。
論文 参考訳(メタデータ) (2023-03-17T21:39:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。