論文の概要: Large Databases Need Small, Open-Weight Language Models

• arxiv url: http://arxiv.org/abs/2606.31808v1
• Date: Tue, 30 Jun 2026 15:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.283179
• Title: Large Databases Need Small, Open-Weight Language Models
• Title（参考訳）: 大規模データベースには小さなオープンウェイト言語モデルが必要である
• Abstract要約: プロプライエタリなAPIを中心に構築された言語モデルは、トークンベースのコストモデルで運用されることが多い。 これは、LM強化演算子が1つの実験セットに対して10,000ドルを超えるコストを発生させることができる大規模なデータベースの文脈で高価になる。 我々は16GBのVRAMでローカルに動作する量子化されたオープンウェイトモデルが、低レイテンシでクローズドソースモデルと同等か、あるいは超えることを実証した。
• 参考スコア（独自算出の注目度）: 1.2631497223901655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model systems built around proprietary APIs often operate on a token-based cost model. This becomes prohibitively expensive in the context of large databases, where LM-enhanced relational operators can incur costs exceeding $10,000 for a single set of experiments, hindering thorough research and practical deployment. In this paper, we demonstrate that quantized, open-weight models running locally on just 16GB of VRAM can match or exceed the accuracy of closed-source counterparts at lower latency and a fraction of the price, challenging the prevailing assumption that closed-source LM APIs are necessary for effective LM-database integration. We present and analyze the key system optimizations required to efficiently deploy these open-weight models within an LM-DB system. By integrating these local models into the BlendSQL v0.1.0 framework, we demonstrate a 390x reduction in overall costs and 3.8x reduction in latency compared to a proprietary LM API. We make our code available at https://github.com/CapitalOne-Research/play-by-the-type-rules/tree/main/sembench.
• Abstract（参考訳）: プロプライエタリなAPIを中心に構築された言語モデルは、トークンベースのコストモデルで運用されることが多い。 これは、LM強化されたリレーショナルオペレーターが単一の実験セットに対して10,000ドルを超えるコストを発生させることで、徹底的な研究と実践的な展開を妨げる、大規模なデータベースの文脈において、違法に高価になる。 本稿では,16GBのVRAMでローカルに動作する量子化されたオープンウェイトモデルにおいて,低レイテンシかつ少数の価格でクローズドソースの精度を一致させるか,あるいは超過することができることを実証し,LM-データベース統合を効果的に行うためには,クローズドソースLM APIが必要であるという仮定に挑戦する。 我々は、LM-DBシステム内でこれらのオープンウェイトモデルを効率的にデプロイするために必要な鍵となるシステムの最適化を提案し、分析する。 これらのローカルモデルをBlendSQL v0.1.0フレームワークに統合することにより、プロプライエタリなLM APIと比較して、全体的なコストの390倍、レイテンシの3.8倍の削減を実演する。 コードはhttps://github.com/CapitalOne-Research/play-by-the-type-rules/tree/main/sembench.comで公開しています。

関連論文リスト

• Apertus LLM Family Expansion via Distillation and Quantization [68.33467651353419]
  Apertus-v1.1 - 1.7Tの許容ライセンストークンでトレーニングされた最大4Bパラメータを持つ、蒸留されたモデルのファミリーを生成する。 我々は,幅広いハードウェアおよびシステム要件をカバーするために,提案手法のコスト効率と高い精度性能を示す。
  論文  参考訳（メタデータ） (2026-05-27T21:40:10Z)
• An Agentic System for Schema Aware NL2SQL Generation [0.0]
  大規模言語モデル(LLM)は、計算オーバーヘッド、データプライバシ、リソース制約のある環境における実世界のデプロイ可能性に関する懸念を提起する。 本稿では,Small Language Models (SLM) をプライマリエージェントとして戦略的に活用するスキーマベースのエージェントシステムを提案する。 LLMのみのシステムでは0.094のクエリに対して0.0085の平均コストが達成され、ローカルで実行されるクエリではほぼゼロの運用コストが達成される。
  論文  参考訳（メタデータ） (2026-02-25T02:58:02Z)
• The Case for Instance-Optimized LLMs in OLAP Databases [0.7090165638014332]
  大規模言語モデル(LLM)は、強力なデータ要約、クリーニング、セマンティックトランスフォーメーション機能を備えた分析システムを強化することができる。 IOLMDB は,クエリ固有モデル最適化により LLM 拡張データベースクエリを実用的なものにする新しいシステムである。
  論文  参考訳（メタデータ） (2025-07-07T13:10:01Z)
• Efficient LLM Collaboration via Planning [56.081879390960204]
  小規模で大規模なモデルでは、プランナーと実行担当者として交代で行動し、タスクを協調的に解決するために、多段階のカスケードでプランを交換する。 私たちはCOPEが大規模プロプライエタリモデルに匹敵するパフォーマンスを実現し,推論APIのコストを大幅に削減できることを実証した。
  論文  参考訳（メタデータ） (2025-06-13T08:35:50Z)
• LatentLLM: Attention-Aware Joint Tensor Compression [50.33925662486034]
  大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)は膨大な計算量とメモリ資源を必要とする。 本稿では,LLM/LMMを低次元潜在構造に変換するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-23T22:39:54Z)
• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• Logits of API-Protected LLMs Leak Proprietary Information [46.014638838911566]
  大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。 比較的少数のAPIクエリから,APIで保護されたLLMに関する驚くほど多くの非公開情報を学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-14T16:27:49Z)
• Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
  バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。 本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• Building Real-World Meeting Summarization Systems using Large Language Models: A Practical Perspective [8.526956860672698]
  本稿では,大規模言語モデル(LLM)を用いた実世界利用のための会議要約システムを効果的に構築する方法について検討する。 以上の結果から,ほとんどのクローズドソース LLM は性能的に優れていることが判明した。 LLaMA-2 (7Bと13B) のようなより小さなオープンソースモデルは、ゼロショットシナリオでも大きなクローズドソースモデルに匹敵するパフォーマンスを達成することができた。
  論文  参考訳（メタデータ） (2023-10-30T02:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。