論文の概要: Retrieval Supersedes Scale: Efficient Log Level Prediction via Multiplex Socio-Technical Context

• arxiv url: http://arxiv.org/abs/2611.05901v1
• Date: Wed, 04 Nov 2026 03:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.935134
• Title: Retrieval Supersedes Scale: Efficient Log Level Prediction via Multiplex Socio-Technical Context
• Title（参考訳）: Retrieval Supersedes Scale:多重社会技術コンテキストによる効率的なログレベルの予測
• Abstract要約: これらのステートメントの重要な部分はログレベルであり、メッセージが記録されているかどうかを決定する。 最近の研究では、ログレベルの予測にはLarge Language Models(LLM)とICL(In-Context Learning)を使用しているが、通常はランダムにサンプル化した例でプロンプトを拡大する。 これは、コンポーネントや開発チームによって規約が異なるロギングの社会技術的性質を見逃している、と我々は主張する。
• 参考スコア（独自算出の注目度）: 6.757916408749099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developers insert logging statements in source code to record its execution, and the resulting logs are essential for detecting and troubleshooting system anomalies. A key part of these statements is the log level (e.g., DEBUG, INFO, WARN, ERROR), which determines whether a message is recorded. Choosing it is a trade-off: levels set too low mask important information in production, while levels set too high create noisy logs and extra I/O and storage overhead. Recent work uses Large Language Models (LLMs) with In-Context Learning (ICL) to predict log levels, but typically augments the prompt with randomly sampled examples. We argue that this overlooks the socio-technical nature of logging, where conventions vary by component and development team. Off-the-shelf LLMs using random examples are reported to achieve median AUCs of only 0.56 to 0.76, leaving room for improvement without fine-tuning. In this paper, we propose a retrieval approach for LLM-powered log level prediction that prioritizes context relevance over random selection and basic similarity. Our method retrieves logging examples relevant along two socio-technical dimensions: (i) functionality (code performing similar operations) and (ii) ownership (code maintained by the same developers). Evaluating four LLMs across ten popular Java projects, we find that this retrieval improves AUC over random baselines by 0.07 (median), and combining both signals yields median AUCs of 0.83 to 0.97. Our ablation studies show that each signal improves on random retrieval, and that combining them outperforms the stronger of the two on all ten projects. Our results also significantly exceed state-of-the-art supervised predictors (e.g., DeepLV) by a median AUC of 0.12 to 0.19. Our findings highlight the importance of socio-technical signals such as code functionality and ownership for LLM-powered log level prediction.
• Abstract（参考訳）: 開発者は、実行を記録するためにソースコードにロギングステートメントを挿入する。 これらのステートメントの重要な部分は、メッセージが記録されているかどうかを決定するログレベル(例えば、DEBUG、INFO、WARN、ERROR)である。 レベルは運用において重要な情報を隠蔽しすぎ、レベルは高すぎるとノイズの多いログを生成し、追加のI/Oとストレージオーバーヘッドを発生させる。 最近の研究では、ログレベルの予測にはLarge Language Models(LLM)とICL(In-Context Learning)を使用しているが、通常はランダムにサンプル化した例でプロンプトを拡大する。 これは、コンポーネントや開発チームによって規約が異なるロギングの社会技術的性質を見逃している、と我々は主張する。 ランダムな例を用いたオフザシェルフLLMは0.56から0.76の中央AUCを達成し、微調整なしで改善の余地を残していると報告されている。 本稿では,ランダム選択と基本類似性よりもコンテキスト関連性を重視したLLMを用いたログレベルの予測手法を提案する。 本手法は,2つの社会技術的側面に沿ったロギング事例を検索する。 (i)機能(類似の操作を行うコード)及び (ii)オーナシップ(同一開発者がメンテナンスするコード)。 10の有名なJavaプロジェクト間で4つのLLMを評価し、この検索によってランダムベースラインよりもAUCが0.07(中間値)向上し、両方の信号を組み合わせると、中央値のAUCは0.83から0.97となる。 我々のアブレーション研究は、各信号がランダム検索により改善され、それらの組み合わせが10のプロジェクトにおいて2つよりも優れていることを示している。 また,AUCの中央値0.12～0.19では,最先端の教師付き予測器(例えばDeepLV)をはるかに上回った。 本研究は,LLMを用いたログレベルの予測において,コード機能やオーナシップといった社会技術信号の重要性を強調した。

関連論文リスト

• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• AnomalyGen: Enhancing Log-Based Anomaly Detection with Code-Guided Data Augmentation [42.87177529900358]
  AnomalyGenは、ラベル付きログシーケンスをソースコードから合成することによってトレーニングデータを増強する新しいフレームワークである。 12のさまざまな異常検出モデルに対するHDFSとZookeeperの評価は、AnomalyGenが一貫してパフォーマンスを改善していることを示している。
  論文  参考訳（メタデータ） (2026-04-13T07:24:43Z)
• What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization [5.663538370244175]
  ベイジアンロジスティック回帰のための情報的事前分布を抽出する決定論的手法であるLoIDを提案する。 生成したテキストに頼るのではなく、注意深く構築された文を通して、モデルが対立する意味的方向に対する自信を探索する。 合成アウトオブディストリビューション(OOD)設定下で10個の実世界のデータセット上でLoIDを評価する。
  論文  参考訳（メタデータ） (2026-01-24T22:05:01Z)
• OmniLLP: Enhancing LLM-based Log Level Prediction with Context-Aware Retrieval [8.328441582683034]
  我々はOmniLLPを提案する。OmniLLPは、コードの機能目的を反映したセマンティックな類似性に基づくソースファイルをクラスタリングするフレームワークであり、開発者の所有権の凝集である。 以上の結果から, セマンティック・アウェア・クラスタリングとオーナシップ・アウェア・クラスタリングは, 評価LPPの精度(最大8%のAUC)を統計的に向上させることがわかった。 文脈内予測のためのセマンティック信号とオーナシップ信号を組み合わせるアプローチは、評価プロジェクト全体で印象的な0.88から0.96AUCを達成する。
  論文  参考訳（メタデータ） (2025-08-12T01:18:56Z)
• QiMeng-CodeV-R1: Reasoning-Enhanced Verilog Generation [51.393569044134445]
  大きな言語モデル(LLM)は、強化学習と検証可能な報酬(RLVR)によって訓練され、明示的で自動化可能な検証を伴うタスクにおいてブレークスルーを達成した。 しかし、自然言語(NL)仕様からVerilogのようなハードウェア記述言語(HDL)を自動的に生成するRLVRの拡張には、3つの大きな課題がある。 本稿では,Verilog 生成 LLM をトレーニングするための RLVR フレームワークである CodeV-R1 を紹介する。
  論文  参考訳（メタデータ） (2025-05-30T03:51:06Z)
• Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
  大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。 本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
  論文  参考訳（メタデータ） (2024-10-11T03:52:17Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
  本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。 まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
  論文  参考訳（メタデータ） (2023-07-12T06:32:51Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。