論文の概要: Beam Search, Self-Consistency, and the Limits of Inference-Time Scaling for Grammar-Constrained Text-to-SQL in Small Language Models

• arxiv url: http://arxiv.org/abs/2608.25761v1
• Date: Wed, 26 Aug 2026 13:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.835245
• Title: Beam Search, Self-Consistency, and the Limits of Inference-Time Scaling for Grammar-Constrained Text-to-SQL in Small Language Models
• Title（参考訳）: 小言語モデルにおける文法制約付きテキスト-SQLのビーム探索, 自己整合性, 推論時間スケーリングの限界
• Abstract要約: 大規模言語モデルにおける共通のトレードオフは、推論時に計算量を増やしながら、モデルのサイズを減らすことである。 制約のないトレードオフは、制約のないトレードオフとは異なる振る舞いを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: One common trade-off in the use of large language models involves reducing the size of the model while increasing the amount of computation at inference time, for example by using a wider beam search. In this paper, we examine the constrained case of this "model size vs. inference compute" trade-off, in which the model outputs are constrained by a strict grammar at inference time. Our results demonstrate that the constrained trade-off behaves differently from the unconstrained trade-off. We investigate the task of converting a prose query into an equivalent SQL query (text-to-SQL). Performance is evaluated on the Spider text-to-SQL benchmark, using the Qwen2.5-Instruct model family ranging in size from 0.5B to 7B parameters, all at 4-bit precision. We experiment with two approaches to varying inference compute: (i) beam search with a variable number of beams; and (ii) sample+vote, i.e., sampling several constrained outputs and then voting on their execution results, where the number of samples is varied. On the 1034-example development set, we find that: (a) both beam search and sample+vote improve accuracy, especially on smaller model sizes; (b) the "model size vs.\ inference compute" trade-off is not advantageous in this experiment, because moving to a larger model size typically results in higher accuracy than increasing inference compute on the same model size; (c) beam search outperforms sample+vote at a matched inference budget. This latter result is of particular interest since it contrasts with the findings of the unconstrained trade-off.
• Abstract（参考訳）: 大きな言語モデルを使用する際の共通のトレードオフの1つは、例えばより広いビームサーチを用いて、推論時に計算量を増やしながら、モデルのサイズを減らすことである。 本稿では,この「モデルサイズ対推論計算」トレードオフの制約事例について検討する。 我々の結果は、制約のあるトレードオフは制約のないトレードオフと異なる振る舞いをすることを示している。 本稿では,散文クエリを等価なSQLクエリ(text-to-SQL)に変換するタスクについて検討する。 性能はSpiderのテキスト-SQLベンチマークで評価され、Qwen2.5-Instructモデルファミリは0.5Bから7Bのパラメータで、すべて4ビット精度で評価されている。 推論計算に異なる2つのアプローチを実験する。 (i)ビームの変動数によるビームサーチ、及び (ii) sample+vote、すなわち、いくつかの制約された出力をサンプリングし、その実行結果に投票する。 1034-example開発セットでは、次のようなことが分かりました。 (a)ビームサーチとサンプル+ボイトにより精度が向上し、特にモデルサイズが小さくなる。 (b)「モデルサイズ vs。 なぜなら、より大きなモデルサイズに移行すると、通常同じモデルサイズで推論計算を増やすよりも高い精度が得られるからです。 (c)ビームサーチは一致した推論予算でサンプル+ボイトより優れる。 後者の結果は、制約のないトレードオフの結果とは対照的に、特に興味深い。

関連論文リスト

• More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning [0.0]
  本稿では,ローカルにホストされたLCMを数学的推論に基づいて評価するための制御された文書化手法を提案する。 固定推論設定、階層的な回答抽出と検証、明示的な失敗モード分類、要求毎のリソース測定を組み合わせる。 予備的な知見は、精度だけでは局所モデルを選択するのに不十分な基礎であることを示している。
  論文  参考訳（メタデータ） (2026-08-22T17:24:28Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。 モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference [10.536415845097661]
  本研究では,NLIモデルの性能を微調整せずに予測する手法を提案する。 その結果,コサイン類似度手法の精度はパーソン相関係数0.65の分類手法の精度と強く相関していることがわかった。 提案手法は,モデル選択の過程において,大幅な時間節約につながる可能性がある。
  論文  参考訳（メタデータ） (2022-02-21T18:10:24Z)
• Significance tests of feature relevance for a blackbox learner [6.72450543613463]
  ブラックボックス学習者の特徴関連性に関する2つの一貫した試験を導出する。 第1は、推論サンプルの摂動による損失差を評価する。 2つ目は推論サンプルを2つに分割するが、データの摂動は必要ない。
  論文  参考訳（メタデータ） (2021-03-02T00:59:19Z)
• Approximating a Target Distribution using Weight Queries [25.392248158616862]
  本稿では,データセットの例を反復的に選択し,対応する重み付けクエリを実行する対話型アルゴリズムを提案する。 我々は,アルゴリズムが検出した再重み付けと,最も達成可能な再重み付けとの間の全変動距離に依存する近似を導出する。
  論文  参考訳（メタデータ） (2020-06-24T11:17:43Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。