論文の概要: Compositional Online Learning for Semantic Data Processing Systems
- arxiv url: http://arxiv.org/abs/2608.27244v1
- Date: Thu, 27 Aug 2026 15:25:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.472016
- Title: Compositional Online Learning for Semantic Data Processing Systems
- Title(参考訳): 意味データ処理システムのための合成オンライン学習
- Abstract要約: セマンティックデータ処理システムにおけるオンライン学習コンポーネントを組み合わせるためのフレームワークを開発する。
AIのプロダクションケーススタディは、3つのコンポーネントで構成されている: メモ層、オンラインの呼び出し毎のフィルタ順序学習者、オンラインのバッチ毎のカスケード順序学習者。
- 参考スコア(独自算出の注目度): 6.737084223382399
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An LLM call in a semantic data processing system is expensive enough to dominate query cost, yet slow enough to hide a CPU-side learner's update behind its round-trip. In production, LLM compute accounts for $80-90\%$ of query cost, and each call costs $10^5-10^7\times$ a relational predicate. The latency window inverts a design constraint of classical adaptive query processing, where online learners had to stay lightweight to avoid dominating the predicates they optimize. At LLM latency, per-call gradient steps and per-batch threshold solves fit inside the round-trip. We develop compositional online learning at the LLM call boundary: a framework for combining online-learning components in semantic data processing systems. Each component makes execution-time decisions and refines its learned artifacts online. The design space spans two axes, decision granularity and learner update cadence, and the components share a single learning pattern that hides each trainer step inside the next LLM round-trip. A production case study in Cortex AISQL composes three components: a memoization layer, an online per-call filter-ordering learner, and an online per-batch cascade-routing learner. A conditional cost decomposition assigns each learning component to a distinct factor of per-row LLM cost. Under independence, the two learning components compose multiplicatively to an $11.4\times$ upper bound on a representative conjunction-filter workload. Self-selection at the cascade boundary, sample-budget shrinkage, and selectivity-estimation drift reduce it to a realistic figure near $8\times$.
- Abstract(参考訳): セマンティックデータ処理システムにおけるLLM呼び出しは、クエリコストを支配するのに十分なコストであるが、CPU側の学習者の更新をラウンドトリップの背後に隠すには十分遅い。
LLMは80-90\%のクエリコストを計算し、それぞれの呼び出しはリレーショナル述語に対して10^5-10^7\timesである。
遅延ウィンドウは古典的な適応型クエリ処理の設計制約を逆転させ、オンライン学習者は最適化した述語の支配を避けるために、軽量でいなければならなかった。
LLMレイテンシでは、コール毎のグラデーションステップとバッチ毎のしきい値がラウンドトリップ内に収まる。
LLMコールバウンダリにおいて,セマンティックデータ処理システムにおけるオンライン学習コンポーネントを組み合わせるためのフレームワークであるコンポジションオンライン学習を開発する。
各コンポーネントは実行時の決定を行い、学習した成果物をオンラインで洗練する。
設計空間は、決定の粒度と学習者の更新ケイデンスという2つの軸にまたがっており、コンポーネントは、次のLLMラウンドトリップ内に各トレーナーステップを隠す単一の学習パターンを共有する。
Cortex AISQLのプロダクションケーススタディでは、3つのコンポーネントで構成されている。
条件付きコスト分解は、各学習成分をロー当たりのLLMコストの異なる要因に割り当てる。
独立性の下では、2つの学習コンポーネントは、代表的な共用フィルタのワークロード上の11.4\times$アッパーバウンドに乗法的に構成する。
カスケード境界における自己選択, サンプル予算縮小, 選択性推定ドリフトにより, 8/times$に近い現実的な数字に還元された。
関連論文リスト
- Pay for Hints, Not Answers: LLM Shepherding for Cost-Efficient Inference [7.865726406769634]
小型言語モデル(SLM)は劇的なコスト削減を提供するが、精度はかなり遅い。
LLM Shepherdingは,LLMから短いプレフィックス(ヒント)のみを要求するフレームワークで,SLMに提供します。
シェパードはルーティングとカスケードの両方を一般化し、オラクルの意思決定において低コストを実現する。
論文 参考訳(メタデータ) (2026-01-29T18:52:54Z) - SparseLoRA: Accelerating LLM Fine-Tuning with Contextual Sparsity [52.88892280536302]
SparseLoRAは,コンテキスト空間の空間的分散によって微調整を高速化する手法である。
SparseLoRAは計算コストを最大2.2倍、測定速度を最大1.6倍に削減する。
論文 参考訳(メタデータ) (2025-06-19T17:53:34Z) - LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。
LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。
精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2025-01-28T03:18:48Z) - PickLLM: Context-Aware RL-Assisted Large Language Model Routing [0.5325390073522079]
PickLLMは、RL(Reinforcement Learning)を使用してオンザフライクエリを利用可能なモデルにルーティングする軽量フレームワークである。
学習速度の違いに対する収束の速度と,クエリ毎のコストや全体の応答遅延といったハードメトリクスの改善を実証する。
論文 参考訳(メタデータ) (2024-12-12T06:27:12Z) - Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。
私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。
LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
論文 参考訳(メタデータ) (2024-10-30T17:02:54Z) - Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback [52.763620660061115]
ONIは、RLポリシーと本質的な報酬関数を同時に学習する分散アーキテクチャである。
我々は、様々な複雑さを持つ報酬モデリングのためのアルゴリズムの選択範囲を探索する。
提案手法は,NetHack Learning Environment の様々な課題にまたがって,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-10-30T13:52:43Z) - Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである
LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。
本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。
この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。
我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
論文 参考訳(メタデータ) (2024-02-07T01:46:50Z) - Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。
重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
論文 参考訳(メタデータ) (2023-05-22T14:23:46Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。