論文の概要: Illuminating LLM Coding Agents: Visual Analytics for Deeper Understanding and Enhancement

• arxiv url: http://arxiv.org/abs/2508.12555v1
• Date: Mon, 18 Aug 2025 01:17:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.860136
• Title: Illuminating LLM Coding Agents: Visual Analytics for Deeper Understanding and Enhancement
• Title（参考訳）: LLM符号化エージェントのイルミネーション:より深い理解と拡張のためのビジュアル分析
• Authors: Junpeng Wang, Yuzhong Chen, Menghai Pan, Chin-Chia Michael Yeh, Mahashweta Das,
• Abstract要約: 我々は,コーディングエージェントの動作の検査を強化するために,視覚分析システムを導入する。 我々のシステムでは,ML科学者がエージェントの動作に関する構造化された理解を得ることが可能である。
• 参考スコア（独自算出の注目度）: 16.472150248814767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents powered by large language models (LLMs) have gained traction for automating code generation through iterative problem-solving with minimal human involvement. Despite the emergence of various frameworks, e.g., LangChain, AutoML, and AIDE, ML scientists still struggle to effectively review and adjust the agents' coding process. The current approach of manually inspecting individual outputs is inefficient, making it difficult to track code evolution, compare coding iterations, and identify improvement opportunities. To address this challenge, we introduce a visual analytics system designed to enhance the examination of coding agent behaviors. Focusing on the AIDE framework, our system supports comparative analysis across three levels: (1) Code-Level Analysis, which reveals how the agent debugs and refines its code over iterations; (2) Process-Level Analysis, which contrasts different solution-seeking processes explored by the agent; and (3) LLM-Level Analysis, which highlights variations in coding behavior across different LLMs. By integrating these perspectives, our system enables ML scientists to gain a structured understanding of agent behaviors, facilitating more effective debugging and prompt engineering. Through case studies using coding agents to tackle popular Kaggle competitions, we demonstrate how our system provides valuable insights into the iterative coding process.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用したコーディングエージェントは、人間の関与を最小限に抑えた反復的な問題解決を通じて、コード生成を自動化することで注目を集めている。 例えば、LangChain、AutoML、AIDEといった様々なフレームワークが登場したが、ML科学者は、エージェントのコーディングプロセスの効果的レビューと調整に苦慮している。 個々のアウトプットを手動で検査する現在のアプローチは非効率であり、コードの進化を追跡したり、コーディングイテレーションを比較したり、改善の機会を特定するのが難しくなっています。 この課題に対処するために、コーディングエージェントの動作の検査を強化するために設計された視覚分析システムを導入する。 AIDEフレームワークに焦点をあてて,本システムは,(1)コードレベル解析(Code-Level Analysis),(2)プロセスレベル解析(Process-Level Analysis),(3)LCM間のコーディング動作のばらつきを強調するLCM-Level Analysis(LLM-Level Analysis)の3段階にわたる比較分析をサポートする。 これらの視点を統合することで、ML科学者がエージェントの振る舞いを構造化して理解し、より効率的なデバッグとエンジニアリングの促進を可能にします。 一般的なKaggleコンペティションに取り組むために,コーディングエージェントを用いたケーススタディを通じて,我々のシステムが反復的なコーディングプロセスに対する貴重な洞察をいかに提供するかを実証する。

関連論文リスト

• Understanding Software Engineering Agents Through the Lens of Traceability: An Empirical Study [15.97770416681533]
  ソフトウェアエンジニアリングエージェント(SWEエージェント)は、ユーザの入力を解釈し、環境フィードバックに応答することで、自律的に動作する。 本稿では,SWEエージェントの動作を,実行トレースのレンズを通してシステマティックに解析する。
  論文  参考訳（メタデータ） (2025-06-10T00:41:54Z)
• Enhancing LLM Code Generation: A Systematic Evaluation of Multi-Agent Collaboration and Runtime Debugging for Improved Accuracy, Reliability, and Latency [0.0]
  プログラミング活動の異なる構成や訓練パラダイムがコード生成の効率に与える影響について検討する。 私たちの発見は、堅牢なAI駆動型コーディングソリューションを求める組織に貴重な洞察を与えます。
  論文  参考訳（メタデータ） (2025-05-04T14:44:27Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
  Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• RGD: Multi-LLM Based Agent Debugger via Refinement and Generation Guidance [0.6062751776009752]
  大規模言語モデル(LLM)は、コード生成タスクにおいて驚くべきポテンシャルを示しています。 LLMはタスク記述に基づいてコードを生成することができるが、精度は限られている。 コード生成と自動デバッグのためのLLMエージェントの新しいアーキテクチャ:Refinement and Guidancebug (RGD)を紹介する。 RGDはコード生成タスクを複数のステップに分割し、より明確なワークフローを確保し、自己回帰とフィードバックに基づいた反復的なコード改善を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T05:07:02Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。