論文の概要: Can Large Language Models Generate Observability-Aware Code?

• arxiv url: http://arxiv.org/abs/2607.05785v1
• Date: Tue, 07 Jul 2026 03:20:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.378426
• Title: Can Large Language Models Generate Observability-Aware Code?
• Title（参考訳）: 大規模言語モデルは可観測性を考慮したコードを生成することができるか?
• Abstract要約: 本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
• 参考スコア（独自算出の注目度）: 51.30941152293301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in coding agents have enabled the generation of increasingly complex software systems. While existing evaluations primarily focus on functional correctness, production systems must expose failure evidence to support observability. In this paper, we present a systematic study of observability in agent-generated systems. We examine whether agents can reconstruct source-level diagnostic semantics by restoring observability artifacts in 10 open-source and 8 industrial repositories. We also evaluate whether these artifacts translate into effective fault signals at runtime through 200 generated microservice systems deployed on Kubernetes with 13 injected faults. Our results reveal a consistent gap between diagnostic semantics at the source level and fault signals (i.e., explicit, fault-specific evidence) at runtime. At the source level, agents partially recover observability artifacts but struggle to capture key diagnostic semantics. At runtime, generated systems expose fault signals for only a small fraction of failures (up to 13.99\%), despite the presence of logging, suggesting that the generated observability artifacts may lack the failure-specific semantics needed to effectively expose faults. We further introduce an observability-oriented skill, which can serve as a guidance to improve both diagnostic semantics and fault-signal exposure, but the gains remain limited, indicating that the gap is not easily addressed. More broadly, our findings suggest that current evaluations focusing primarily on functional correctness may overlook observability as an important dimension of practical software quality.
• Abstract（参考訳）: コーディングエージェントの最近の進歩により、ますます複雑なソフトウェアシステムの開発が可能になった。 既存の評価は機能的正確性に重点を置いているが、生産システムは可観測性をサポートするために失敗の証拠を明らかにする必要がある。 本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 本研究では,10のオープンソースリポジトリと8の産業リポジトリに観測可能なアーティファクトを復元することで,エージェントがソースレベルの診断セマンティクスを再構築できるかどうかを検討する。 さらに、これらアーティファクトが、13の障害を注入したKubernetes上にデプロイされた200の生成されたマイクロサービスシステムを通じて、実行時に効果的な障害信号に変換されるかどうかも評価します。 以上の結果から,ソースレベルでの診断的セマンティクスと,実行時の障害信号(明示的,障害特異的な証拠)との間には,一貫したギャップが明らかとなった。 ソースレベルでは、エージェントは部分的に可観測性アーティファクトを回復するが、重要な診断セマンティクスを取得するのに苦労する。 実行時に生成されたシステムは、ロギングが存在するにもかかわらず、少数の障害信号(最大13.99\%)しか公開しないため、生成された可観測性アーティファクトは、障害を効果的に露呈するのに必要な障害固有のセマンティクスを欠いている可能性がある。 さらに,診断のセマンティクスと障害信号の露光の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。 より広範に、機能的正当性に着目した現在の評価は、実用的なソフトウェア品質の重要な次元として可観測性を見落としている可能性があることを示唆している。

関連論文リスト

• Understanding Online Failure Prediction in Linux Through Complementary Multi-View Explainability [0.0]
  本報告では,Linux OS用オンラインエラー予測パイプラインの構築と評価について述べる。 コンセンサスに基づく特徴選択と、時間的オンセット分析、サブシステムレベルの因果解析、障害解釈を支援する補完的な診断メカニズムを組み合わせる。
  論文  参考訳（メタデータ） (2026-08-01T13:12:59Z)
• On-board Telemetry Monitoring in Autonomous Satellites: Challenges and Opportunities [1.5949218056028653]
  この研究は、軌道制御サブシステム内の故障検出、隔離、回復のためのeXplainable Artificial Intelligenceに対処する。 ペプホールと呼ばれる中間的神経活性化から低次元,意味的アノテートエンコーディングを導出する手法を提案する。
  論文  参考訳（メタデータ） (2026-04-09T16:25:53Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• Evaluating Line-level Localization Ability of Learning-based Code Vulnerability Detection Models [9.543689542888599]
  脆弱性検出のための説明可能性に基づく評価手法を提案する。 提案手法は検出アライメント(DA)として定義され,入力されたソースコード間の一致を定量化する。 このようなモデルの予測は、常に非負の線に偏っていることを示す。
  論文  参考訳（メタデータ） (2025-10-13T09:34:40Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Mutual Information Tracks Policy Coherence in Reinforcement Learning [0.0]
  強化学習(RL)エージェントは、センサの故障、アクチュエータの摩耗、環境変化による劣化に直面している。 本稿では,RLの基本動力学を両立させる情報理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-12T17:24:20Z)
• How Execution Features Relate to Failures: An Empirical Study and Diagnosis Approach [11.857060911501016]
  障害のローカライゼーションは、障害の原因となる可能性のあるコード領域を特定することを目的としている。 従来のテクニックは主にステートメントの実行と失敗を関連付けています。 我々は17の実行特徴を分析し,その相関性を評価した。
  論文  参考訳（メタデータ） (2025-02-25T22:00:05Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Causal Disentanglement Hidden Markov Model for Fault Diagnosis [55.90917958154425]
  本研究では, 軸受破壊機構の因果性を学ぶために, 因果解離隠れマルコフモデル (CDHM) を提案する。 具体的には、時系列データをフル活用し、振動信号を断層関連要因と断層関連要因に段階的に分解する。 アプリケーションの範囲を広げるために、学習された非絡み合った表現を他の作業環境に転送するために、教師なしのドメイン適応を採用する。
  論文  参考訳（メタデータ） (2023-08-06T05:58:45Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
  クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。 また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。 半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
  論文  参考訳（メタデータ） (2021-09-23T23:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。