論文の概要: Socio-Technical Anti-Patterns in Building ML-Enabled Software: Insights from Leaders on the Forefront
- arxiv url: http://arxiv.org/abs/2607.03270v1
- Date: Fri, 03 Jul 2026 12:38:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 12:51:11.239109
- Title: Socio-Technical Anti-Patterns in Building ML-Enabled Software: Insights from Leaders on the Forefront
- Title(参考訳): ML対応ソフトウェア構築における社会技術的アンチパターン - 最前線のリーダからの見解
- Abstract要約: 私たちは、チームを中心に、そしてチーム内で機械学習モデルを生産する際の社会技術的課題に焦点を合わせます。
Slackのワークスペースに11,000人以上のメンバがいるコミュニティの実践者による講演を分析することで、17のアンチパターンを見つけました。
技術的ソリューションからガイドライン、組織再編まで、これらの問題を解決するための推奨事項をリストアップする。
- 参考スコア(独自算出の注目度): 4.692400531340393
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although machine learning (ML)-enabled software systems seem to be a success story considering their rise in economic power, there are consistent reports from companies and practitioners struggling to bring ML models into production. Many papers have focused on specific, and purely technical aspects, such as testing and pipelines, but only few on socio-technical aspects. Driven by numerous anecdotes and reports from practitioners, our goal is to collect and analyze socio-technical challenges of productionizing ML models centered around and within teams. To this end, we conducted the largest qualitative empirical study in this area, involving the manual analysis of 66 hours of talks that have been recorded by the MLOps community. By analyzing talks from practitioners for practitioners of a community with over 11,000 members in their Slack workspace, we found 17 anti-patterns, often rooted in organizational or management problems. We further list recommendations to overcome these problems, ranging from technical solutions over guidelines to organizational restructuring. Finally, we contextu-alize our findings with previous research, confirming existing results, validating our own, and highlighting new insights.
- Abstract(参考訳): 機械学習(ML)対応のソフトウェアシステムは、彼らの経済力の上昇を考えると、成功の物語のようだが、企業や実践者たちは、MLモデルを本番環境に持ち込もうとしている、という一貫した報告がある。
多くの論文は、テストやパイプラインのような特定の、純粋に技術的な側面に焦点を合わせてきたが、社会技術的側面にのみ焦点を当てている。
私たちの目標は、チームを中心としたMLモデルを生産する際の社会技術的課題を収集し、分析することにあります。
この目的のために我々は,MLOpsコミュニティが記録した66時間の講演を手作業で分析するなど,この分野で最大の質的研究を行った。
Slackのワークスペースに11,000人以上のメンバがいるコミュニティの実践者による講演を分析することで、17のアンチパターンを見つけました。
さらに、技術的なソリューションからガイドライン、組織再編まで、これらの問題を解決するための推奨事項をリストアップします。
最後に、過去の研究で得られた知見を文脈的に分析し、既存の結果を確認し、私たち自身の検証を行い、新しい洞察を強調します。
関連論文リスト
- Results-Actionability Gap: Understanding How Practitioners Evaluate LLM Products in the Wild [33.360335897400965]
組織的なメタワークに対して,非公式な"バイブチェック"にまたがる10の評価プラクティスを特定します。
実践者は評価データを収集するが、その結果を具体的改善に変換することはできない。
本分析は,これらの解釈実践が,方法論的失敗よりもLCM特性に適応する必要があることを示唆している。
論文 参考訳(メタデータ) (2026-01-25T10:36:59Z) - Measuring what Matters: Construct Validity in Large Language Model Benchmarks [103.53142193393931]
大規模言語モデル(LLM)を評価することは、その能力を評価し、デプロイ前に安全性や堅牢性の問題を特定するために重要である。
自然言語処理と機械学習における主要なカンファレンスから445のベンチマークを体系的にレビューする。
結果の妥当性を損なう現象,課題,評価指標に関連するパターンを見いだす。
論文 参考訳(メタデータ) (2025-11-03T17:39:40Z) - Software Testing with Large Language Models: An Interview Study with Practitioners [2.198430261120653]
ソフトウェアテストにおける大きな言語モデルの使用は、多くのタスクをサポートするにつれて急速に増加しています。
しかし、彼らの採用は構造的なガイダンスよりも非公式な実験に依存していることが多い。
本研究は,ソフトウェアテスト専門家が LLM を用いて,予備的,実践的インフォームドガイドラインを提案する方法について考察する。
論文 参考訳(メタデータ) (2025-10-20T05:06:56Z) - A Survey of Vibe Coding with Large Language Models [93.88284590533242]
視覚符号化(Vibe Coding)は、開発者が成果観察を通じてAI生成の実装を検証する開発手法である。
変革の可能性にもかかわらず、この創発的パラダイムの有効性は未解明のままである。
この調査は、大規模な言語モデルによるVibe Codingの総合的かつ体系的なレビューを初めて提供する。
論文 参考訳(メタデータ) (2025-10-14T11:26:56Z) - A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。
本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
論文 参考訳(メタデータ) (2025-10-10T06:56:50Z) - How Do Communities of ML-Enabled Systems Smell? A Cross-Sectional Study on the Prevalence of Community Smells [13.840177755312665]
NICHEデータセットからの188個のレポジトリについて,CADOCSツールを用いて実験を行った。
プリマ・ドナ・エフェクトやシェア・ヴィラニーのような特定の匂いは、ラジオ・サイレンスやオーガナイゼーション・スキルミッシュなどと比べて、時間とともに広まり、変動することがわかった。
論文 参考訳(メタデータ) (2025-04-24T10:23:37Z) - MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? [66.87201770167012]
MLRC-Benchは、機械学習(ML)リサーチコンペティションの挑戦において、言語エージェントがいかに効果的に対処できるかを定量化するために設計されたベンチマークである。
MLRC-Benchは以前の研究とは異なり、新しい研究手法を提案し、実装する上で重要なステップを計測する。
最も優れた試験薬でさえ、ベースラインとトップヒューマンのスコアの差の9.3%しか閉じていない。
論文 参考訳(メタデータ) (2025-04-13T19:35:43Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。
また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Building Emotional Support Chatbots in the Era of LLMs [64.06811786616471]
我々は,Large Language Models (LLMs) の計算能力で人間の洞察を合成する革新的な方法論を導入する。
また,ChatGPTの文脈内学習の可能性を利用して,ExTESと呼ばれる感情支援対話データセットを生成する。
次に、LLaMAモデルに高度なチューニング手法を展開し、多様なトレーニング戦略の影響を検証し、最終的に感情的支援の相互作用に細心の注意を払ってLLMを出力する。
論文 参考訳(メタデータ) (2023-08-17T10:49:18Z) - Automatically Correcting Large Language Models: Surveying the landscape
of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。
これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。
本稿では,この新技術について概観する。
論文 参考訳(メタデータ) (2023-08-06T18:38:52Z) - Towards machine learning guided by best practices [0.0]
機械学習(ML)は、医学からソフトウェア工学(SE)まで、複数の応用分野を持つソフトウェアシステムで使われている。
この論文は、SEコミュニティの実践者や研究者が使用し議論するプラクティスを理解するのに役立つ研究の質問に答えることを目的としている。
論文 参考訳(メタデータ) (2023-04-29T10:58:37Z) - A Meta-Summary of Challenges in Building Products with ML Components --
Collecting Experiences from 4758+ Practitioners [13.565678193855609]
機械学習(ML)コンポーネントをソフトウェア製品に組み込むことで、新たなソフトウェアエンジニアリングの課題が提起される。
我々は,体系的な文献レビューのガイドラインを用いて,4758名以上の実践者と交流する50件の関連論文を収集した。
そして、これらの論文の中で500以上の課題について言及し、グループ化し、整理しました。
論文 参考訳(メタデータ) (2023-03-31T19:00:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。