論文の概要: What Stops a Small Language Model From Driving a Database Agent

• arxiv url: http://arxiv.org/abs/2609.21341v1
• Date: Fri, 18 Sep 2026 05:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.870841
• Title: What Stops a Small Language Model From Driving a Database Agent
• Title（参考訳）: 小さな言語モデルがデータベースエージェントを駆動することを止めるもの
• Abstract要約: 小さなオープンウェイトな言語モデルは、エージェントデータベースの作業で失敗すると仮定される。 私たちはそれを生産システムに対してテストします。 1,590,75.7%の2,100台のモデルが配布されたエージェントモードの損失は、少なくとも1つのツールを起動したランから発生した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small open-weight language models are assumed to fail at agentic database work because they lack the reasoning capacity for it. We test that against a production system. Over eleven days we drove the agent mode of an open-source SQL client with 39 open-weight models served locally and one hosted control, across six task surfaces: 8,199 runs, 110,711 ledger events, 14,008 refused tool calls. Of the 2,100 model-attributed agent-mode losses, 1,590, or 75.7%, came from runs that had invoked at least one tool. That majority is what survives resampling models rather than runs: it holds in 99.7% of clustered resamples and in 15 of the 22 models with at least twenty losses. Within it, transport, a run that used the tools and never got a deliverable through, is the largest class at 36.2% and capability, a run that invoked no tool at all, the smallest at 17.3%; we report that ordering as a property of this corpus rather than a general finding, since clustered by model it holds in only 74.5% of resamples. Transport failures decompose into a few mechanical argument shapes. Production ledgers record refusal codes and never the model's arguments, so these were invisible for ten days; capturing them exposed five server defects, one of which demanded a field on one tool, forbade it on the sibling that composed it, then failed the run for its absence. Five server changes, touching no model, prompt or sampling setting, moved six models by 6 to 21 cells out of 30. We also report a confound we believe affects published local-model benchmarks, ours included: with no context cap, one 7.1 GB model was admitted at its full 262,144-token window and held 51 GB on a 64 GB machine, producing runs indistinguishable in any ordinary log from a model timing out. The corpus, the scorer and a verifier that regenerates every figure are released.
• Abstract（参考訳）: 小さなオープンウェイトな言語モデルは、エージェントデータベースの作業で失敗すると仮定される。 私たちはそれを生産システムに対してテストします。 11日間にわたって、39のオープンウェイトモデルがローカルに提供され、1つのホストされたコントロールを持つオープンソースのSQLクライアントのエージェントモードを、6つのタスクサーフェス(8,199実行、110,711の台帳イベント、14,008のツールコール)で実行しました。 1,590,75.7%の2,100台のモデルが配布されたエージェントモードの損失は、少なくとも1つのツールを起動したランから発生した。 クラスタ化された再サンプリングの99.7%と、少なくとも20の損失を持つ22モデルのうち15モデルに保持されている。 その中では、ツールを使用し、成果物が届かなかったトランスポートが、36.2%で最大のクラスであり、機能的には、ツールを全く呼び出すことなく17.3%で最小となる。 輸送の失敗はいくつかの機械的な議論の形に分解される。 生産台帳は拒絶コードを記録し、モデルの議論もしなかったため、これらは10日間は見えず、そのうちの1つが1つのツールにフィールドを要求した5つのサーバーの欠陥を捉え、それを構成した兄弟に禁止し、その不在のために実行に失敗した。 モデルに触れることなく、プロンプトやサンプリングの設定をしない5つのサーバ変更は、30から6から21セルに6つのモデルを移動させた。 コンテクストキャップがない状態で、フル262,144トーケンウィンドウで1つの7.1GBモデルを認め、64GBマシンで51GBを保持し、モデルタイミングから通常のログでは区別できない実行を実行した。 コーパス、スコア、各フィギュアを再生する検証器を解放する。

関連論文リスト

• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• Fabrication After Tool Failure: Tool-Augmented Agents Assert Values Their Tools Did Not Return [7.146717861821737]
  ツール拡張言語モデルは、ツールの供給に失敗した時に正直に報告するかどうかではなく、正しい回答に達するかどうかで評価される。 16のシステムドメインと8つのツール障害タイプにまたがる1024項目のベンチマークで、この障害後の決定を分離する。
  論文  参考訳（メタデータ） (2026-09-13T19:46:42Z)
• SilentProbe: Measuring Silent Failure in Production APIs Used as Agent Tools [0.0]
  機械チェック可能な制約は111例中111例において正直な誤りを示し, 61例中44例では散文のみの制約が無音に失敗した。 88回のうち88回は、その記述が単なる例示である語彙が欠落し、88回から91%が完全で書かれた語彙が正しく使用された。
  論文  参考訳（メタデータ） (2026-08-29T07:07:28Z)
• Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
  SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。 SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。 また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
  論文  参考訳（メタデータ） (2026-08-25T13:59:34Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents [55.650871465979066]
  StateActはコードファーストでマルチエージェントのハーネスであり、この区別に基づいて構築されている。 そのメインエージェントは、コードを使用してプログラム状態と直接連携する。 専用のGUIサブエージェントは、必要ないくつかのサブゴールでスクリーンショットとクリックのインタラクションを処理する。
  論文  参考訳（メタデータ） (2026-07-24T14:17:03Z)
• Tool Calling is Linearly Readable and Steerable in Language Models [7.851713181228514]
  ツール呼び出しエージェントが間違ったツールを選択すると、実行まで失敗は見えない。 Gemma 3、Qwen 3、Qwen 2.5、Llama 3.1の12の命令調整モデルを使用します。 選択したツールの同一性は、モデル内で線形で、管理可能であることが分かりました。
  論文  参考訳（メタデータ） (2026-05-08T16:47:08Z)
• The Avengers: A Simple Recipe for Uniting Smaller Language Models to Challenge Proprietary Giants [66.6636608563034]
  より小さなモデルの集合的知性を活用するシンプルなレシピであるAvengersを紹介します。 10のオープンソースモデルで、Avengersは15の多様なデータセットの平均パフォーマンスをGPT-4o、4.1、4.5を上回っている。 特に数学タスクでは GPT-4.1 を 18.21% 、コードタスクでは 7.46% で上回っている。
  論文  参考訳（メタデータ） (2025-05-26T10:29:42Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。