論文の概要: Addressing Quality Challenges in Deep Learning: The Role of MLOps and Domain Knowledge

• arxiv url: http://arxiv.org/abs/2501.08402v2
• Date: Fri, 31 Jan 2025 16:47:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:00:03.687004
• Title: Addressing Quality Challenges in Deep Learning: The Role of MLOps and Domain Knowledge
• Title（参考訳）: ディープラーニングにおける品質問題に対処する - MLOpsとドメイン知識の役割
• Authors: Santiago del Rey, Adrià Medina, Xavier Franch, Silverio Martínez-Fernández,
• Abstract要約: ディープラーニング(DL)システムは、特に正確性やリソース効率といった品質特性に関して、ソフトウェア工学においてユニークな課題を提示します。 本稿では,透過的で再現可能な実験環境を構築する上で,MLOpsの実践が果たす役割について述べる。 本稿では,DLモデルの設計にドメイン知識を組み込むことによる品質問題に対処する経験について報告する。
• 参考スコア（独自算出の注目度）: 5.190998244098203
• License:
• Abstract: Deep learning (DL) systems present unique challenges in software engineering, especially concerning quality attributes like correctness and resource efficiency. While DL models excel in specific tasks, engineering DL systems is still essential. The effort, cost, and potential diminishing returns of continual improvements must be carefully evaluated, as software engineers often face the critical decision of when to stop refining a system relative to its quality attributes. This experience paper explores the role of MLOps practices -- such as monitoring and experiment tracking -- in creating transparent and reproducible experimentation environments that enable teams to assess and justify the impact of design decisions on quality attributes. Furthermore, we report on experiences addressing the quality challenges by embedding domain knowledge into the design of a DL model and its integration within a larger system. The findings offer actionable insights into the benefits of domain knowledge and MLOps and the strategic consideration of when to limit further optimizations in DL projects to maximize overall system quality and reliability.
• Abstract（参考訳）: ディープラーニング(DL)システムは、特に正確性やリソース効率といった品質特性に関して、ソフトウェア工学においてユニークな課題を提示します。 DLモデルは特定のタスクにおいて優れているが、エンジニアリングDLシステムは依然として不可欠である。 継続的改善の努力、コスト、潜在的に減少するリターンを慎重に評価する必要がある。 この経験では、チームが品質特性に対する設計決定の影響を評価し、正当化できる透明で再現可能な実験環境を構築する上で、MLOpsのプラクティス(監視や実験追跡など)が果たす役割について論じる。 さらに、DLモデルの設計にドメイン知識を組み込んで、より大きなシステムにその統合を組み込むことによって、品質上の課題に対処する経験について報告する。 この調査結果は、ドメイン知識とMLOpsのメリットに関する実用的な洞察と、システム品質と信頼性を最大化するためにDLプロジェクトのさらなる最適化を制限する時期についての戦略的考察を提供する。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• A Theoretical Framework for AI-driven data quality monitoring in high-volume data environments [1.2753215270475886]
  本稿では,高ボリューム環境におけるデータ品質維持の課題に対処するために,AIによるデータ品質監視システムに関する理論的枠組みを提案する。 本稿では,ビッグデータのスケール,速度,多様性の管理における従来の手法の限界について検討し,高度な機械学習技術を活用した概念的アプローチを提案する。 主なコンポーネントは、インテリジェントデータ取り込み層、適応前処理機構、コンテキスト認識機能抽出、AIベースの品質評価モジュールなどである。
  論文  参考訳（メタデータ） (2024-10-11T07:06:36Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• Large Process Models: Business Process Management in the Age of Generative AI [4.249492423406116]
  大規模プロセスモデル(LPM)は、大規模言語モデルの相関力と、知識ベースシステムの分析精度と信頼性と、自動推論アプローチを組み合わせる。 LPMは、企業に対して、コンテキスト固有の(適切な)プロセスやその他のビジネスモデル、分析的なディープダイブ、改善のレコメンデーションを受け取ることを可能にする。
  論文  参考訳（メタデータ） (2023-09-02T10:32:53Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• Quality In / Quality Out: Data quality more relevant than model choice in anomaly detection with the UGR'16 [0.29998889086656577]
  ベンチマークデータセットの比較的小さな変更は、考慮された特定のML手法よりも、モデルパフォーマンスに著しく影響することを示します。 また、不正確なラベル付けの結果、測定されたモデル性能が不確かであることも示す。
  論文  参考訳（メタデータ） (2023-05-31T12:03:12Z)
• Quality Monitoring and Assessment of Deployed Deep Learning Models for Network AIOps [9.881249708266237]
  ディープラーニング(DL)モデルはソフトウェアアーチファクトであり、定期的なメンテナンスと更新が必要です。 DLモデルデプロイメントのライフサイクルでは、デプロイされたモデルの品質を評価し、"静的"モデルを検出し、アップデートを優先順位付けすることが重要です。 本稿では,個人推論の品質評価のための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-28T09:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。