論文の概要: Rethinking Issue Resolution for AI/ML Systems
- arxiv url: http://arxiv.org/abs/2607.14657v1
- Date: Thu, 16 Jul 2026 07:22:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.024416
- Title: Rethinking Issue Resolution for AI/ML Systems
- Title（参考訳）: AI/MLシステムにおける課題解決の再考
- Abstract要約: 既存のイシュー解決フレームワークは、AI/MLシステムに共通する特徴を明示的に説明していない。
我々は,広く使用されている4つのAI/MLシステムに対して,100件のイシューレポートとプルリクエストに記録されたイシュー解決に関する質的研究を行った。
以上の結果から,AI/MLシステムにおける課題解決には,複数の解決段階にまたがるAI/ML関連活動が関与することが示唆された。
- 参考スコア（独自算出の注目度）: 5.265555006935396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We advocate for AI/ML issue resolution frameworks tailored to maintenance workflows and the nature of modern AI/ML systems. Existing issue resolution frameworks largely emerged for traditional software maintenance practices and do not explicitly account for characteristics common in AI/ML systems, such as stochastic behavior, experimentation-driven workflows, and heterogeneous artifacts beyond source code. To identify the unique characteristics of issue resolution in AI/ML systems and motivate the need for tailored frameworks, we conducted a qualitative study of issue resolution workflows documented in 100 issue reports and pull requests across four widely used AI/ML systems: TensorFlow, scikit-learn, MLflow, and AutoGPT. Our findings suggest that issue resolution in AI/ML systems involves: recurring AI/ML-related activities that span multiple resolution stages; iterative experimentation and adaptive verification; and coordinated changes across artifacts such as datasets, prompts, and model configurations. We also observed challenges related to reproducibility, nondeterministic behavior, and artifact coordination. Building on these findings, we present a vision for AI/ML issue resolution frameworks and discuss research directions and tooling support needed to realize this vision.
- Abstract（参考訳）: 我々は、メンテナンスワークフローと現代のAI/MLシステムの性質に合わせたAI/MLイシュー解決フレームワークを提唱する。
既存のイシュー解決フレームワークは、従来型のソフトウェアメンテナンスプラクティスのために主に登場し、確率的振る舞いや実験駆動ワークフロー、ソースコード以外の異質なアーティファクトなど、AI/MLシステムに共通する特徴を明示的に説明していない。
AI/MLシステムにおけるイシュー解決のユニークな特徴を特定し,フレームワークのカスタマイズの必要性を動機付けるために,広く使用されている4つのAI/MLシステム – TensorFlow,Scikit-learn,MLflow,AutoGPT – にまたがる,100のイシューレポートとプルリクエストに記録されたイシュー解決ワークフローの質的研究を行った。
AI/MLシステムの課題解決には、複数の解像度ステージにまたがるAI/ML関連アクティビティの反復、反復的な実験と適応検証、データセットやプロンプト、モデル構成などのアーティファクト間の変更のコーディネートなどが含まれる。
また,再現性,非決定性行動,アーティファクト調整に関する課題も観察した。
これらの知見に基づいて、AI/ML課題解決フレームワークのビジョンを示し、このビジョンを実現するために必要な研究の方向性とツールサポートについて議論する。
関連論文リスト
- Advancing Adaptive Multi-Stage Video Anomaly Reasoning: A Benchmark Dataset and Method [96.63801368613177]
本稿では,記述的理解から構造化多段階推論への映像異常解析を向上するタスクを提案する。
我々は8,641本のビデオからなる新しいデータセットを提示し、合計5万本以上のサンプルを作成し、ビデオ異常理解のための最大のデータセットの1つである。
提案したタスクとデータセットに基づいて,適応的階層的推論とリスク認識意思決定をサポートする,Vad-R1-Plusと呼ばれるエンドツーエンドのMLLMベースのVARモデルを開発する。
論文 参考訳（メタデータ） (2026-01-15T08:09:04Z) - Let the Barbarians In: How AI Can Accelerate Systems Performance Research [80.43506848683633]
我々は、この繰り返しサイクルを、AI駆動システム研究の生成、評価、洗練のサイクルと呼ぶ。
我々はADRSが生成するソリューションが人間の最先端の設計に適合し、さらに優れることを示した。
論文 参考訳（メタデータ） (2025-12-16T18:51:23Z) - A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。
本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
論文 参考訳（メタデータ） (2025-10-10T06:56:50Z) - Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。
このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。
我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-10-07T17:49:24Z) - Towards a Framework for Operationalizing the Specification of Trustworthy AI Requirements [1.2184324428571227]
AI対応システムの信頼性に関する懸念の高まりは、要件エンジニアリング(RE)の役割を強調している。
AMDiREとPerSpecMLの2つの補完的アプローチの統合を提案する。
論文 参考訳（メタデータ） (2025-07-14T12:49:26Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
機械学習(ML)対応システムは、企業によってますます採用されている。
本稿では,ML対応システムの現状を概観する。
論文 参考訳（メタデータ） (2024-05-20T06:59:20Z) - ML-Enabled Systems Model Deployment and Monitoring: Status Quo and
Problems [7.280443300122617]
我々は、ML対応システムのエンジニアリング方法に関する実践的洞察を集めるために、国際調査を実施した。
モデル配置および監視段階における現状と問題点を解析した。
私たちの結果は、実践において採用されているプラクティスや問題をより深く理解する上で役立ちます。
論文 参考訳（メタデータ） (2024-02-08T00:25:30Z) - Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for
AI Accountability [28.67753149592534]
本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。
我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
論文 参考訳（メタデータ） (2023-11-22T04:43:16Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。