論文の概要: Empirical Characterization of Logging Smells in Machine Learning Code
- arxiv url: http://arxiv.org/abs/2601.05540v1
- Date: Fri, 09 Jan 2026 05:48:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 17:41:49.85067
- Title: Empirical Characterization of Logging Smells in Machine Learning Code
- Title(参考訳): 機械学習コードにおけるロギングスメルの実証評価
- Authors: Patrick Loic Foalem, Leuson Da Silva, Foutse Khomh, Ettore Merlo, Heng Li,
- Abstract要約: 本研究の目的は,機械学習システムにおけるログの臭いを経験的に識別し,特徴付けることである。
我々は、GitHubにホストされているオープンソースのMLリポジトリを大規模にマイニングして、繰り返し発生するログの臭いをカタログ化することを提案する。
- 参考スコア(独自算出の注目度): 7.520925824033758
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: \underline{Context:} Logging is a fundamental yet complex practice in software engineering, essential for monitoring, debugging, and auditing software systems. With the increasing integration of machine learning (ML) components into software systems, effective logging has become critical to ensure reproducibility, traceability, and observability throughout model training and deployment. Although various general-purpose and ML-specific logging frameworks exist, little is known about how these tools are actually used in practice or whether ML practitioners adopt consistent and effective logging strategies. To date, no empirical study has systematically characterized recurring bad logging practices--or logging smells--in ML System. \underline{Goal:} This study aims to empirically identify and characterize logging smells in ML systems, providing an evidence-based understanding of how logging is implemented and challenged in practice. \underline{Method:} We propose to conduct a large-scale mining of open-source ML repositories hosted on GitHub to catalogue recurring logging smells. Subsequently, a practitioner survey involving ML engineers will be conducted to assess the perceived relevance, severity, and frequency of the identified smells. \underline{Limitations:} % While The study's limitations include that While our findings may not be generalizable to closed-source industrial projects, we believe our study provides an essential step toward understanding and improving logging practices in ML development.
- Abstract(参考訳): ログはソフトウェア工学の基本的かつ複雑なプラクティスであり、ソフトウェアシステムの監視、デバッグ、監査に不可欠です。
機械学習(ML)コンポーネントをソフトウェアシステムに統合することにより、再現性、トレーサビリティ、可観測性を保証する上で、効果的なロギングが重要になっている。
さまざまな汎用およびML固有のロギングフレームワークが存在するが、これらのツールが実際にどのように使用されているのか、あるいはML実践者が一貫性のある効果的なロギング戦略を採用するかどうかについては、ほとんど分かっていない。
これまでのところ、MLシステムでは、不正なロギングの実践やロギングの臭いを組織的に特徴付ける経験的な研究は行われていない。
この研究は、MLシステムにおけるロギングの臭いを実証的に識別し、特徴付けることを目的としており、実際にロギングがどのように実装され、挑戦されているかというエビデンスベースの理解を提供する。
私たちはGitHubにホストされているオープンソースのMLリポジトリを大規模にマイニングして、繰り返し発生するログの臭いをカタログ化することを提案しています。
その後、識別された匂いの関連性、重症度、頻度を評価するため、MLエンジニアを含む実践者による調査が実施される。
研究の限界は、我々の発見は、クローズドソースな産業プロジェクトでは一般化できないかもしれないが、我々の研究は、ML開発におけるロギングの実践を理解し改善するための重要なステップを提供すると考えている。
関連論文リスト
- A Causal Perspective on Measuring, Explaining and Mitigating Smells in LLM-Generated Code [49.09545217453401]
Propensity Smelly Score (PSC) は、特定の臭いの種類を生成する確率を推定する計量である。
我々は、生成戦略、モデルサイズ、モデルアーキテクチャ、および生成したコードの構造特性をいかに形成するかを識別する。
PSCは、開発者がモデルの振る舞いを解釈し、コード品質を評価するのに役立つ。
論文 参考訳(メタデータ) (2025-11-19T19:18:28Z) - System Log Parsing with Large Language Models: A Review [2.2779174914142346]
大規模言語モデル (LLM) はLLMに基づくログ解析の新しい研究分野を導入した。
有望な結果にもかかわらず、この比較的新しい研究分野におけるアプローチの構造化された概要は存在しない。
この研究は29 LLMベースのログ解析手法を体系的にレビューする。
論文 参考訳(メタデータ) (2025-04-07T09:41:04Z) - Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。
本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文 参考訳(メタデータ) (2024-10-11T03:52:17Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。
まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
論文 参考訳(メタデータ) (2023-07-12T06:32:51Z) - Reasonable Scale Machine Learning with Open-Source Metaflow [2.637746074346334]
既存のツールを再購入しても、現在の生産性の問題は解決しない、と私たちは主張します。
私たちは、データ実践者の生産性を高めるために明示的に設計された、MLプロジェクトのためのオープンソースのフレームワークであるMetaflowを紹介します。
論文 参考訳(メタデータ) (2023-03-21T11:28:09Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳(メタデータ) (2021-11-02T15:16:08Z) - Linnaeus: A highly reusable and adaptable ML based log classification
pipeline [2.2099003320482393]
近年では、統計的および機械学習(ML)ベースのログ分析方法に重点が置かれている。
本稿では,エンドツーエンドのログ分類パイプラインLinnaeusを実演する。
また、適応性と再利用のためのソリューション、大規模ソフトウェア開発プロセスへの統合、ラベル付きデータの欠如への対応についても実証しています。
論文 参考訳(メタデータ) (2021-03-11T19:58:53Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。