論文の概要: Debug Smarter, Not Harder: AI Agents for Error Resolution in Computational Notebooks

• arxiv url: http://arxiv.org/abs/2410.14393v1
• Date: Fri, 18 Oct 2024 11:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:28.779828
• Title: Debug Smarter, Not Harder: AI Agents for Error Resolution in Computational Notebooks
• Title（参考訳）: デバッグがより賢く、難しくはない - 計算ノートのエラー解決のためのAIエージェント
• Authors: Konstantin Grotov, Artem Borzilov, Maksim Krivobok, Timofey Bryksin, Yaroslav Zharov,
• Abstract要約: 計算ノートブックのエラー解決に特化して設計されたAIエージェントを提案する。 我々はそれと対話してノートブック環境を探索できるエージェントシステムを開発した。 コストの比較とユーザスタディの実施により,既存のシングルアクションソリューションに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 4.025358960630117
• License:
• Abstract: Computational notebooks became indispensable tools for research-related development, offering unprecedented interactivity and flexibility in the development process. However, these benefits come at the cost of reproducibility and an increased potential for bugs. With the rise of code-fluent Large Language Models empowered with agentic techniques, smart bug-fixing tools with a high level of autonomy have emerged. However, those tools are tuned for classical script programming and still struggle with non-linear computational notebooks. In this paper, we present an AI agent designed specifically for error resolution in a computational notebook. We have developed an agentic system capable of exploring a notebook environment by interacting with it -- similar to how a user would -- and integrated the system into the JetBrains service for collaborative data science called Datalore. We evaluate our approach against the pre-existing single-action solution by comparing costs and conducting a user study. Users rate the error resolution capabilities of the agentic system higher but experience difficulties with UI. We share the results of the study and consider them valuable for further improving user-agent collaboration.
• Abstract（参考訳）: 計算ノートは研究関連の開発に欠かせないツールとなり、開発プロセスにおいて前代未聞の対話性と柔軟性を提供した。 しかし、これらの利点は再現可能性のコストとバグの可能性を増大させます。 エージェント技術で強化されたコード流大言語モデルの台頭により、高度な自律性を備えたスマートバグ修正ツールが出現した。 しかし、これらのツールは古典的なスクリプトプログラミング用に調整されており、いまだに非線形の計算ノートブックに苦戦している。 本稿では,コンピュータノートブックのエラー解決に特化して設計されたAIエージェントを提案する。 我々は、ユーザと同じようにノートブック環境を操作してノートブック環境を探索できるエージェントシステムを開発し、データロアと呼ばれるコラボレーティブデータサイエンスのためにJetBrainsサービスに統合した。 コストの比較とユーザスタディの実施により,既存のシングルアクションソリューションに対するアプローチを評価した。 ユーザはエージェントシステムのエラー解決能力を高く評価するが、UIでは困難を経験する。 調査の結果を共有し、ユーザとエージェントのコラボレーションをさらに改善する上で価値があると考えている。

関連論文リスト

• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Agent4Edu: Generating Learner Response Data by Generative Agents for Intelligent Education Systems [27.161576657380646]
  Agent4Eduは、大規模言語モデル(LLM)による人間知能の最近の進歩を活用した、パーソナライズされた学習シミュレータである。 学習者のプロファイルは現実世界の反応データを使用し、実践スタイルと認知要因をキャプチャする。 各エージェントは、コンピュータ適応テストのようなパーソナライズされた学習アルゴリズムと対話することができる。
  論文  参考訳（メタデータ） (2025-01-17T18:05:04Z)
• Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
  この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。 一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。 ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。 一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
  論文  参考訳（メタデータ） (2024-10-16T11:33:57Z)
• SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
  SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。 SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。 我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
  論文  参考訳（メタデータ） (2024-05-06T17:41:33Z)
• Untangling Knots: Leveraging LLM for Error Resolution in Computational Notebooks [4.318590074766604]
  本稿では,反復型LCMエージェントを用いて,計算ノートブックの誤りを解消するための潜在的解決策を提案する。 本稿では,本手法によって提起された問題について議論し,バグを含む新しい計算ノートブックのデータセットを共有する。
  論文  参考訳（メタデータ） (2024-03-26T18:53:17Z)
• Impact of Decentralized Learning on Player Utilities in Stackelberg Games [57.08270857260131]
  多くの2エージェントシステムでは、各エージェントは別々に学習し、2つのエージェントの報酬は完全に一致しない。 分散学習を用いたStackelbergゲームとしてこれらのシステムをモデル化し、標準後悔ベンチマークが少なくとも1人のプレイヤーにとって最悪の線形後悔をもたらすことを示す。 我々は,これらのベンチマークに関して,両プレイヤーにとってほぼ最適な$O(T2/3)を後悔するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-29T23:38:28Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• PyRCA: A Library for Metric-based Root Cause Analysis [66.72542200701807]
  PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。 複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-06-20T09:55:10Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)
• Natural Language to Code Generation in Interactive Data Science Notebooks [35.621936471322385]
  データサイエンスノートブックのパンダスデータ分析フレームワークを用いて1082のコード生成問題のベンチマークであるARCADEを構築した。 我々は,Python 計算ノートブック用の 62B コード言語モデル PaChiNCo を開発した。
  論文  参考訳（メタデータ） (2022-12-19T05:06:00Z)
• Agents for Automated User Experience Testing [4.6453787256723365]
  自動UXテストのためのエージェントベースのアプローチを提案する。 我々は,基本問題解決スキルと中核的影響モデルを備えたエージェントを開発した。 この研究はまだ原始的な状態にあるが、この結果が知的エージェントの使用に強く影響していると我々は信じている。
  論文  参考訳（メタデータ） (2021-04-13T14:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。