論文の概要: HYVE: Hybrid Views for LLM Context Engineering over Machine Data
- arxiv url: http://arxiv.org/abs/2604.05400v1
- Date: Tue, 07 Apr 2026 03:50:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.614683
- Title: HYVE: Hybrid Views for LLM Context Engineering over Machine Data
- Title(参考訳): HYVE: マシンデータを用いたLLMコンテキストエンジニアリングのためのハイブリッドビュー
- Authors: Jian Tan, Fan Bu, Yuqing Gao, Dev Khanolkar, Jason Mackay, Boris Sobolev, Lei Jin, Li Zhang,
- Abstract要約: マシンデータは、現代のコンピューティングシステムにおける可観測性と診断の中心である。
本稿では,大規模なデータペイロードを含む入力のためのコンテキストエンジニアリングフレームワークHYVEを提案する。
- 参考スコア(独自算出の注目度): 6.8110009034631025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine data is central to observability and diagnosis in modern computing systems, appearing in logs, metrics, telemetry traces, and configuration snapshots. When provided to large language models (LLMs), this data typically arrives as a mixture of natural language and structured payloads such as JSON or Python/AST literals. Yet LLMs remain brittle on such inputs, particularly when they are long, deeply nested, and dominated by repetitive structure. We present HYVE (HYbrid ViEw), a framework for LLM context engineering for inputs containing large machine-data payloads, inspired by database management principles. HYVE surrounds model invocation with coordinated preprocessing and postprocessing, centered on a request-scoped datastore augmented with schema information. During preprocessing, HYVE detects repetitive structure in raw inputs, materializes it in the datastore, transforms it into hybrid columnar and row-oriented views, and selectively exposes only the most relevant representation to the LLM. During postprocessing, HYVE either returns the model output directly, queries the datastore to recover omitted information, or performs a bounded additional LLM call for SQL-augmented semantic synthesis. We evaluate HYVE on diverse real-world workloads spanning knowledge QA, chart generation, anomaly detection, and multi-step network troubleshooting. Across these benchmarks, HYVE reduces token usage by 50-90% while maintaining or improving output quality. On structured generation tasks, it improves chart-generation accuracy by up to 132% and reduces latency by up to 83%. Overall, HYVE offers a practical approximation to an effectively unbounded context window for prompts dominated by large machine-data payloads.
- Abstract(参考訳): マシンデータは、ログ、メトリクス、テレメトリトレース、設定スナップショットに現れる現代のコンピューティングシステムにおいて、可観測性と診断の中心である。
大きな言語モデル(LLM)に提供される場合、このデータは一般的に、自然言語とJSONやPython/ASTリテラルなどの構造化ペイロードの混合として提供される。
しかし、LSMはそのような入力に対して脆弱であり、特に長い、深くネストされ、反復的な構造に支配されている場合である。
本稿では,LLMコンテキストエンジニアリングのためのフレームワークHYVE(HYbrid ViEw)について述べる。
HYVEは、スキーマ情報を付加した要求スコープデータストアを中心に、コーディネートされた前処理と後処理によるモデル呼び出しを取り囲む。
前処理中、HYVEは生の入力の繰り返し構造を検出し、それをデータストアで実体化し、それをハイブリッドカラムや行指向のビューに変換し、LLMに最も関連性の高い表現だけを選択的に公開する。
後処理の間、HYVEはモデル出力を直接返却し、省略された情報を復元するためにデータストアに問い合わせたり、SQL拡張セマンティックシンセサイザーのための境界付きLLMコールを実行する。
我々は、知識QA、チャート生成、異常検出、マルチステップネットワークトラブルシューティングにまたがる多様な実世界のワークロード上でHYVEを評価する。
これらのベンチマーク全体で、HYVEはトークンの使用量を50~90%削減し、出力品質を維持または改善している。
構造化生成タスクでは、チャート生成の精度を最大132%向上し、レイテンシを最大83%削減する。
HYVEは、大規模なマシンデータペイロードが支配するプロンプトに対して、事実上非バウンドなコンテキストウィンドウに実用的な近似を提供する。
関連論文リスト
- LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization [27.72622904072875]
Databricksのジョブオーケストレーションシステム(例:LeJOT)は、レイテンシと依存性の制約を満たしながら、低価格の計算を選択することで、クラウドコストを削減する。
既存のパイプラインは、静的で手動で構築されたランタイム効果に依存している。
エージェント駆動型AutoMLフレームワークであるLeJOT-AutoMLについて,MLライフサイクルを通じて大規模言語モデルエージェントを組み込む。
論文 参考訳(メタデータ) (2026-03-09T02:31:50Z) - Performance Evaluation of LLMs in Automated RDF Knowledge Graph Generation [0.0]
大規模言語モデル(LLM)はRDF知識グラフ生成を自動化するための有望なアプローチを提供する。
我々は,複数のLPMを評価し,制御フレームワークを用いた自動RDF抽出手法を提案する。
Llama は 99.35% の F1 スコアと100% 有効な RDF 出力を達成している。
論文 参考訳(メタデータ) (2026-02-06T06:30:35Z) - Enhancing Transformer-Based Rerankers with Synthetic Data and LLM-Based Supervision [0.13999481573773073]
大きな言語モデル(LLM)は、その深いセマンティック理解と推論のために、再分類時に優れている。
微調整の小さなタスク固有のモデルは、より効率的な代替手段だが、通常は手動でラベル付けされたデータに頼っている。
本稿では,人間ラベルのクエリドキュメントペアの必要性を解消する新しいパイプラインを提案する。
論文 参考訳(メタデータ) (2025-09-23T09:47:27Z) - The Case for Instance-Optimized LLMs in OLAP Databases [0.7090165638014332]
大規模言語モデル(LLM)は、強力なデータ要約、クリーニング、セマンティックトランスフォーメーション機能を備えた分析システムを強化することができる。
IOLMDB は,クエリ固有モデル最適化により LLM 拡張データベースクエリを実用的なものにする新しいシステムである。
論文 参考訳(メタデータ) (2025-07-07T13:10:01Z) - Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。
本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。
実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2024-10-31T06:55:24Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳(メタデータ) (2024-07-16T04:41:58Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。
SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
論文 参考訳(メタデータ) (2023-10-01T17:59:20Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。