論文の概要: Task-Aware Reduction for Scalable LLM-Database Systems
- arxiv url: http://arxiv.org/abs/2510.11813v1
- Date: Mon, 13 Oct 2025 18:10:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.052928
- Title: Task-Aware Reduction for Scalable LLM-Database Systems
- Title(参考訳): スケーラブルLLMデータベースシステムにおけるタスク認識の低減
- Authors: Marcus Emmanuel Barnes, Taher A. Ghaleb, Safwat Hassan,
- Abstract要約: 我々は、LCMのトークン予算を注目予算として扱い、タスク対応テキストの削減を、データシステムのための第一級設計原則である、と論じる。
ベンチマークの構築、適応型リダクションパイプラインの設計、トークンバジェット対応プリプロセッシングをデータベースや検索システムに統合するためのオープンな研究課題について概説する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly applied to data-intensive workflows, from database querying to developer observability. Yet the effectiveness of these systems is constrained by the volume, verbosity, and noise of real-world text-rich data such as logs, telemetry, and monitoring streams. Feeding such data directly into LLMs is costly, environmentally unsustainable, and often misaligned with task objectives. Parallel efforts in LLM efficiency have focused on model- or architecture-level optimizations, but the challenge of reducing upstream input verbosity remains underexplored. In this paper, we argue for treating the token budget of an LLM as an attention budget and elevating task-aware text reduction as a first-class design principle for language -- data systems. We position input-side reduction not as compression, but as attention allocation: prioritizing information most relevant to downstream tasks. We outline open research challenges for building benchmarks, designing adaptive reduction pipelines, and integrating token-budget--aware preprocessing into database and retrieval systems. Our vision is to channel scarce attention resources toward meaningful signals in noisy, data-intensive workflows, enabling scalable, accurate, and sustainable LLM--data integration.
- Abstract(参考訳): 大規模言語モデル(LLM)は、データベースクエリから開発者の可観測性に至るまで、データ集約型ワークフローにますます適用されています。
しかし、これらのシステムの有効性は、ログ、テレメトリ、監視ストリームなどの実世界のテキストリッチデータのボリューム、冗長性、ノイズに制約されている。
LLMに直接データを供給することはコストが高く、環境的にも持続不可能であり、しばしばタスクの目的と一致しない。
LLM効率の並列化は、モデルレベルの最適化やアーキテクチャレベルの最適化に重点を置いているが、上流入力の冗長性を減らすという課題はまだ未解決のままである。
本稿では,LLMのトークン予算を注目予算として扱うとともに,タスク対応テキストの削減を,データシステムのための第一級設計原則として高めることについて議論する。
我々は、入力側還元を圧縮ではなく、注意割当として位置づける:下流タスクに最も関係のある情報を優先順位付けする。
我々は、ベンチマークの構築、適応型リダクションパイプラインの設計、トークン予算の事前処理をデータベースと検索システムに統合するためのオープンな研究課題を概説する。
私たちのビジョンは、ノイズの多いデータ集約型ワークフローで意味のあるシグナルに注目するリソースを流し込むことで、スケーラブルで正確で持続可能なLCMデータ統合を可能にします。
関連論文リスト
- Pushing LLMs to Their Logical Reasoning Bound: The Role of Data Reasoning Intensity [59.27594125465172]
データ推論強度 (Data Reasoning Intensity, DRI) は, サンプルの潜在論理的推論複雑性を定量化する新しい指標である。
次に、学習データの論理的推論強度を体系的に強化する再認識最適化戦略を導入する。
論文 参考訳(メタデータ) (2025-09-29T14:20:04Z) - Feature Engineering for Agents: An Adaptive Cognitive Architecture for Interpretable ML Monitoring [2.1205272468688574]
大規模言語モデルに基づくエージェントに特徴工学の原則を適用したMLモニタリングのための認知アーキテクチャを提案する。
決定手順モジュールは、リファクタリング、ブレークダウン、コンパイルという3つの重要なステップを通じて、機能エンジニアリングをシミュレートする。
複数のLCMを用いた実験により, 各種ベースラインと比較して精度が有意に向上し, 提案手法の有効性が示された。
論文 参考訳(メタデータ) (2025-06-11T13:48:25Z) - Are Large Language Models Good Data Preprocessors? [5.954202581988127]
高品質なテキストトレーニングデータは、マルチモーダルデータ処理タスクの成功に不可欠である。
BLIPやGITのような画像キャプションモデルからの出力は、しばしばルールベースの手法で修正が難しいエラーや異常を含む。
論文 参考訳(メタデータ) (2025-02-24T02:57:21Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。
従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-19T12:34:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。