論文の概要: Measure Learning at Steady State: A BIRD-SQL Formula 1 Case Study

• arxiv url: http://arxiv.org/abs/2609.31640v1
• Date: Fri, 11 Sep 2026 12:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 14:29:38.488233
• Title: Measure Learning at Steady State: A BIRD-SQL Formula 1 Case Study
• Title（参考訳）: 定常状態における学習の測定:BIRD-SQLフォーミュラ1ケーススタディ
• Abstract要約: ベンチの学習は、リセットベースラインに対して短期的な利得として学習する。 テストした記憶の中で、本質的なフルコンテキストICLが最強であることが分かりました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning Bench scores learning as short-horizon gain versus a reset baseline and finds naive full-context ICL strongest among the memories it tested. We treat ICL as one learning system and score it on a longer shared-world schedule. Steady-state learning is the gap versus baseline on a pre-set late window (last 40 of 174 BIRD-SQL formula-1 questions). We split the score into exploration efficiency (SQL probes), task reward (hits), and delivery cost (API dollars and context size). On gpt-5.6-luna, late probes fall from 4.6-5.6 to 0.95 while hits rise only modestly and ICL context grows to about 95k tokens with cost roughly doubling. Short-horizon gain understates the late probe saving and misses the cost inversion, so we find that unbounded ICL is a poor candidate for the learning mechanism.
• Abstract（参考訳）: 継続的な学習 Benchは、学習を短期ホリゾンゲインとリセットベースラインとでスコア付けし、テストした記憶の中で、本質的なフルコンテキストICLが最強であることが分かりました。 ICLを1つの学習システムとして扱い、より長い共有世界のスケジュールで評価する。 定常学習は、事前設定されたレイトウインドウ(BIRD-SQL公式1の質問のうち、最後の40問)のベースラインとギャップである。 スコアを探索効率(SQLプローブ)、タスク報酬(hits)、デリバリコスト(APIドルとコンテキストサイズ)に分割しました。 gpt-5.6-lunaでは、遅延プローブは4.6-5.6から0.95に低下するが、ピークはわずかに上昇し、ICLコンテキストはおよそ2倍の約95kトークンに成長する。 短期ホライゾンゲインは、遅延プローブの節約を下支えし、コスト逆転を欠いているため、未有界ICLが学習メカニズムの貧弱な候補であることがわかった。

関連論文リスト

• Before the Rollout Ends: Early Terminal Reward Prediction for Long-horizon Coding Agents [65.21544643456632]
  長距離符号化エージェントは、高価なツールコールのシーケンスを完了した後のみ、検証可能な報酬を受け取る。 これは推論コストを増大させ、早期の誤った仮説を増幅し、スパース終末報酬と不安定なトレーニングにつながる可能性がある。 本稿では,行動証拠から終末報酬を予測するContextual Early Reward (CER)を紹介した。
  論文  参考訳（メタデータ） (2026-09-25T20:53:04Z)
• FINER-SQL: Boosting Small Language Models for Text-to-SQL [40.19592881059662]
  大規模言語モデルは、高い計算コスト、長いレイテンシ、データプライバシの懸念に悩まされる。 自然な代替手段は、効率的でプライベートなオンプレミスデプロイメントを可能にする、小さな言語モデルを使用することだ。 スケーラブルで再利用可能な強化学習フレームワークであるFINER-sqlを提案する。
  論文  参考訳（メタデータ） (2026-05-05T07:51:29Z)
• GLEAN: Grounded Lightweight Evaluation Anchors for Contamination-Aware Tabular Reasoning [0.5414847001704249]
  本稿では, 汚染対応プローブ, 弱スーパービジョンガバナンス, 検索推論診断, 構造化エラー属性を統合する軽量な評価プロトコルを提案する。 我々は16GBのGPU予算でTabFact、WTQをSquall、TableBench、RobuT、SciTabで評価した。
  論文  参考訳（メタデータ） (2026-01-22T13:56:19Z)
• e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs [49.01449646799905]
  既存の推論モデルでは外挿がうまく行われていないことが示される。 レシピ e3 は AIME'25 と HMMT'25 のスコアに基づいて最もよく知られた 1.7B モデルを生成する。 e3-1.7Bモデルは、高いpass@1スコアを得るだけでなく、ベースモデルよりもpass@kを改善する。
  論文  参考訳（メタデータ） (2025-06-10T17:52:42Z)
• Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting [28.537281448659634]
  本稿では,性能損失を伴わない推論トレースを動的に短縮するDAP法を提案する。 実験では、難解なCoTサンプルの100Kだけを微調整した学生モデルが800KのLong CoTサンプルで蒸留されたモデルより優れている。 また,本手法は,11種類の多種多様なベンチマークにおいて,比較的少ないトークンを用いて,長鎖よりも短い難易度CoTの精度を向上する。
  論文  参考訳（メタデータ） (2025-05-26T09:04:44Z)
• Memorization in In-Context Learning [42.218016081867376]
  In-context Learning (ICL) は,大規模言語モデル(LLM)の性能向上に有効な手法であることが証明されている。 本研究は、ICLが記憶したトレーニングデータをどのように表すかを示し、この記憶とパフォーマンスの相関について検討した最初のものである。
  論文  参考訳（メタデータ） (2024-08-21T11:54:22Z)
• In-Context Learning with Long-Context Models: An In-Depth Exploration [92.16922648612807]
  大規模なラベル空間を持つ多くのデータセットでは、数千のデモでパフォーマンスが向上し続けています。 長文ICLは有効なツールであり,デモセットのエンコーディングに長文を必要としない可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-30T21:06:52Z)
• Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits [61.490254407420906]
  我々は、各腕の状態がマルコフ連鎖に従って進化するオンラインレス・バンディット問題について研究する。 本研究では,探索研究の枠組みに従う学習方針であるReestless-UCBを提案する。
  論文  参考訳（メタデータ） (2020-11-05T05:16:04Z)
• FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding [55.38905499274026]
  機械学習は、機械学習における重要なステップの1つだ。 FewJointは、NLP用のFew-Shot Learningベンチマークである。
  論文  参考訳（メタデータ） (2020-09-17T08:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。