論文の概要: How Far Do On-Prem Open LLMs Get on Text-to-SQL? A Cross-Family Size x Technique Frontier on BIRD

• arxiv url: http://arxiv.org/abs/2606.29733v1
• Date: Mon, 29 Jun 2026 03:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.029532
• Title: How Far Do On-Prem Open LLMs Get on Text-to-SQL? A Cross-Family Size x Technique Frontier on BIRD
• Title（参考訳）: オンプレミスのオープン LLM はテキストからSQLへどこまで到達するか? BIRD 上でのクロスファミリックな x テクニックフロンティア
• Abstract要約: Qwen2.5-Coder (7B/14B/32B)、CodeLlama-Instruct (7B/13B/34B)、Llama-3.x (8B,70B)の3世代にわたるオープンモデルファミリーを評価する。 Qwen2.5-Coder がマッチサイズ (39.1 vs 20.9 at 7B) で古い CodeLlama を支配していることがわかったが、現代の non-Qwen モデル (Llama-3.3-70B, 49.2 on a matched service) は競合的であるため、CodeLlama の弱点は "non-Qwen = weak" ではなく 2023 世代を反映している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Organizations that cannot send data to a cloud API increasingly ask: how good is Text-to-SQL if the model must run on-premises on open weights, and which popular accuracy "recipes" are worth their compute? We answer with an honest, fully reproducible benchmark on the BIRD development split (n=1534, Execution Accuracy), evaluating three open model families across two generations -- Qwen2.5-Coder (7B/14B/32B), CodeLlama-Instruct (7B/13B/34B), and Llama-3.x (8B, 70B) -- under one matched protocol, ablating a model-agnostic recipe (schema linking, self-correction, self-consistency) component by component, with every difference tested by the paired McNemar test. Four findings stand out. (i) Generation matters more than raw size, and the recipe is family-robust: Qwen2.5-Coder dominates the older CodeLlama at matched size (39.1 vs 20.9 at 7B), but a modern non-Qwen model (Llama-3.3-70B, 49.2 on a matched serving) is competitive, so CodeLlama's weakness reflects its 2023 generation, not "non-Qwen = weak". (ii) Self-correction is a robust, near-free win, significant on all three families where there is room to improve. (iii) Schema linking does not help, and a stronger linker does not rescue it: a retrieval/embedding linker with 96.5% gold-table recall is statistically indistinguishable from no linking, ruling out the "weak lexical strawman" objection across three families. (iv) Self-consistency is poor value (+0.13 pp for ~5x tokens, not significant). We report real per-stage cost ($/1k queries) and release all code, predictions, and summaries; archived code and data: https://doi.org/10.5281/zenodo.20952794
• Abstract（参考訳）: クラウドAPIにデータを送信できない組織では,モデルがオープンウェイトでオンプレミスで実行しなければならない場合,Text-to-SQLはどの程度よいのでしょう? Qwen2.5-Coder (7B/14B/32B)、CodeLlama-Instruct (7B/13B/34B)、Llama-3.x (8B, 70B)の2世代にわたる3つのオープンモデルファミリを評価し、マッチしたプロトコルの下で、モデルに依存しないレシピ(スキーマリンク、自己補正、自己整合性)をコンポーネント単位で非難する。 4つの発見がある。 クウェン2.5-コーダは、マッチしたサイズ (39.1 vs 20.9 at 7B) で古いCodeLlamaを支配しているが、現代の非クウェンモデル(マッチしたサービスではLlama-3.3-70B, 49.2)は競争力があるので、CodeLlamaの弱点は「非クエン=弱」ではなく2023年の生成を反映している。 (二)自己補正は、改善の余地のある三家族すべてにとって重要な、堅牢でほぼ自由な勝利である。 96.5%のゴールドテーブルリコールを有する検索/埋め込みリンカーは、リンクなしとは統計的に区別がつかず、3つのファミリーにまたがる「弱い語彙的ストローマン」の反対を除外する。 (4)自己整合性は低い(+0.13 pp for ~5x tokens, not significant)。 実際のステージ毎のコスト(/1kクエリ)を報告し、すべてのコード、予測、要約をリリースします。

関連論文リスト

• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Beyond Pass Rate: A Multilingual, Execution-Grounded Evaluation of Open Code LLMs [0.0]
  ベストモデルの平均正しさは23.64%に達し、人間受け入れベースラインは57.2%である。 Qwen2.5-Coder-14B-Instructは、難しい問題と明確なプロブレムカバレッジで最強である。 Gemma-2-27B-ITは全言語でのリント通過率が最も高い。
  論文  参考訳（メタデータ） (2026-06-07T21:10:30Z)
• Do not copy and paste! Rewriting strategies for code retrieval [0.7710436567988378]
  本研究では,スタイリスティック・リフレッシング,NL強化PseudoCode,およびフル自然言語転写の3つの書き直し戦略の階層構造について検討する。 我々は,NLに富んだPseudoCodeとスニペットレベルの自然言語を,一貫した中間体ではなく直接検索表現として評価した。 我々は,デルタH,トークンエントロピー,デルタHの2つの診断手法を導入し,デルタHが3つのリライターファミリーのQC下での検索ゲインを予測することを示す。
  論文  参考訳（メタデータ） (2026-05-08T11:31:26Z)
• Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
  解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。 ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
  論文  参考訳（メタデータ） (2026-04-28T02:53:23Z)
• vstash: Local-First Hybrid Retrieval with Adaptive Fusion for LLM Agents [0.0]
  ベクトル類似性検索と全文キーワードマッチングを組み合わせたローカルファーストの文書メモリシステム**vstash**を提案する。 すべてのデータはsqlite-vecを使って近傍の検索に近づき、FTS5でキーワードマッチングを行う単一のファイルに格納される。
  論文  参考訳（メタデータ） (2026-04-16T19:22:58Z)
• Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM [0.0]
  MLX-LMフレームワークをUniversal Assisted Generation (UAG)で拡張し、Apple Silicon上でクロストケナイザの投機的復号を可能にする。 ポーランド語の3つのデータセット(Wikipedia、pl_alpaca、synthetic)の実験では、2, 4, 6のドラフト長kを用いて、ナイーブとコンテキスト対応のトークン翻訳を比較している。
  論文  参考訳（メタデータ） (2026-03-22T19:07:41Z)
• ExCoT: Optimizing Reasoning for Text-to-SQL with Execution Feedback [49.21833666405111]
  大規模言語モデル(LLM)は、多くの推論タスクにおいて優れているが、Chain-of-Thought(CoT)推論を活用する能力はいまだに未定である。 我々は,オープンソース LLM を反復的に最適化する新しいフレームワークである ExCoT を提案する。
  論文  参考訳（メタデータ） (2025-03-25T18:17:36Z)
• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation [70.96868419971756]
  DS-1000は7つのPythonライブラリにまたがる1000のデータサイエンス問題のあるコード生成ベンチマークである。 まず、StackOverflowからそれらを収集して以来の、多様で現実的で実践的なユースケースを反映しています。 第2に、私たちの自動評価は非常に具体的(信頼性)です -- 評価が受け入れているすべてのCodex予測ソリューションに対して、そのわずか1.8%が間違っています。
  論文  参考訳（メタデータ） (2022-11-18T17:20:27Z)
• CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
  CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。 本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。 我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
  論文  参考訳（メタデータ） (2021-05-27T15:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。