論文の概要: Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

• arxiv url: http://arxiv.org/abs/2610.00025v1
• Date: Tue, 01 Sep 2026 21:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.314897
• Title: Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?
• Title（参考訳）: マイクロタスクの適性ギャップの測定:オフザシェルフSLMはエージェントのハーネスに十分か?
• Abstract要約: エージェントハーネスは、大きなフロンティア言語モデル(LLM)プランナーの周りのマイクロタスクで小さな言語モデル(SLM)を実行したいとますます望んでいる。 既成のSLMが実践者定義のしきい値を満たしているのか、いつ失敗したのか、なぜか、そして量子化が答えを変えるのかを問う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent harnesses increasingly want to run small language models (SLMs) on the microtasks around a frontier large language model (LLM) planner: auto-approving shell commands, writing memory, selecting tools, ranking past turns. We ask whether off-the-shelf SLMs meet practitioner-defined thresholds and, when they fail, why, and whether quantization changes the answer. We build a benchmark of 4 such microtasks with fixed prompts and automatic metrics, each with a pre-specified threshold $τ$ anchored to a cheap non-LLM baseline and a CI-aware eligibility rule (a configuration passes only if its confidence bound clears $τ$). Sweeping Qwen3 0.6/1.7/4/8B at their best (FP16, greedy, one frozen prompt, no tuning), we find an eligibility gap: 0 of 16 (4 tasks $\times$ 4 models) configurations pass (verified by checking the raw outputs and parser behavior). A logprob decision-threshold diagnostic (T1/T3/T4; T2 via a context-length/cascade probe) separates the failures into capability deficits and failures that can be addressed by changing the decoding threshold (4 regimes). Quantization to 4-bit (RTN/GPTQ/AWQ) does damage that depends on model size and moves no configuration into eligibility (certified on the reconstructable hard-label tasks T1/T3, diagnostic/windowed robustness on T2/T4), so the gap tracks model size more than precision; it replicates on Llama-3.x (12/12 ineligible) and is robust to the anchor choice (a $τ$-sweep) and to prompt wording (0/112 eligible across the original plus 3 neutral paraphrases per cell). The practical implication: place SLMs behind a baseline that meets the CI-backed threshold, and use the SLM only where the baseline fails to meet the threshold; e.g. a 4B re-ranker over a BM25 shortlist beats BM25 ($+0.047$ [0.020, 0.073], without itself certifying eligibility).
• Abstract（参考訳）: エージェントハーネスは、シェルコマンドの自動承認、メモリの書き込み、ツールの選択、過去のターンのランク付けといった、フロンティア大型言語モデル(LLM)プランナーの周りのマイクロタスク上で、小さな言語モデル(SLM)を実行したいとますます望んでいる。 既成のSLMが実践者定義のしきい値を満たしているのか、いつ失敗したのか、なぜか、そして量子化が答えを変えるのかを問う。 我々は、固定プロンプトと自動メトリクスを備えた4つのマイクロタスクのベンチマークを構築し、それぞれが、安価な非LLMベースラインに固定された閾値$τ$とCI対応の可視性ルール(信頼境界が$τ$である場合にのみ設定が通過する)を持つ。 Qwen3 0.6/1.7/4/8Bを最良(FP16、greedy、1フリーズプロンプト、チューニングなし)にスワイプすると、適度なギャップが見つかる。 ログプロブ決定閾値診断(T1/T3/T4;T2;コンテキスト長/カスケードプローブ)は、デコードしきい値(4レジーム)を変更して対応可能な障害と障害とを分離する。 4ビット (RTN/GPTQ/AWQ) への量子化は、モデルサイズに依存したダメージを与え、構成を許容性(再構成可能なハードラベルタスクT1/T3、T2/T4の診断/ウインドウドロバスト性)に移行しないため、ギャップトラックのモデルサイズは精度よりも大きい。 例えば、BM25ショートリスト上の4BリランカがBM25(+0.047$ [0.020, 0.073])を出力し、それ自体が認定されていない。

関連論文リスト

• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
  過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。 textbfBoundary-Aware Skill Memory (BASM)を提案する。 BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T10:16:06Z)
• SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
  Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。 SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。 また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
  論文  参考訳（メタデータ） (2026-08-05T17:51:25Z)
• Approximate Speculative Decoding [2.7677713446315946]
  投機的復号化は、ターゲットモデルと並行してドラフトブロックを検証することで自己回帰生成を加速する。 我々は、二項第一ミスマッチトランケーションを予算化された最長選択に置き換えるトレーニング不要な検証器であるtextbf Speculative Decoding (ASD) を導入する。 ASDは新しいドラフトモデルも微調整も必要ありません。
  論文  参考訳（メタデータ） (2026-08-04T10:45:24Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Self-Evolving Agents with Anytime-Valid Certificates [1.2691047660244335]
  我々は,小型のステアリングアダプタとEmphfrozenベースモデルを中心としたバージョン付きハーネスに自己修正を限定するアーキテクチャである textbfSEA を提案する。 5つのループコントローラが発行された保証を構成しており、そのようなゲートは凍結されたベースが既に生成している動作の中でのみ選択できるため、5つの検証器・イン・ザ・ループ機構はゲートが必要とする高密度でグレーダフリーな信号を供給する。 結果は高価な評価で単回実行され、実行時から実行時までの分散を確認し、タスク毎のアルゴリズムの混合を適用することが今後の作業である。
  論文  参考訳（メタデータ） (2026-07-01T12:34:52Z)
• Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving [69.5155152169752]
  大規模言語モデル(LLM)のための2段階カスケードソリューションを提案する。 ステージ1は、受信するクエリをクラスタ化し、各クラスタを最もコスト効率の良いモデルに割り当てる。 ステージ2は品質推定(QE)カスケードを追加し、ステージ1からの出力が低品質であると判断されると、クエリはより強力なモデルにエスカレーションされる。 テストデータセットでは、カスケードシステムは最強モデルの精度の97-99%を保持し、TPOT(Time Per Output Token)を削減している。 タスクの正確性ラベルのみを必要とし、手動で再構成することなくモデルプールの変更に適応する。
  論文  参考訳（メタデータ） (2026-06-25T18:29:24Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
  評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。 このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。 チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
  論文  参考訳（メタデータ） (2026-03-28T18:03:32Z)
• Large Language Models as Optimization Controllers: Adaptive Continuation for SIMP Topology Optimization [4.365822392824561]
  本稿では,SIMP最適化のためのオンラインコントローラとして,大規模言語モデルが機能するフレームワークを提案する。 ハードグレーネスゲートは未熟なバイナライゼーションを防止し、メタ最適化ループは第2パスを使用してエージェントの呼び出し周波数を調整する。 エージェントはすべてのベンチマークの最終的なコンプライアンスを達成する:$5.7%$から$-1%、すべてのソリューションが完全にバイナリである。
  論文  参考訳（メタデータ） (2026-03-26T07:14:31Z)
• Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering [4.878198984786631]
  3方向の論理的質問応答(QA)は、$True/False/Unknown$を前提セット$S$の仮説に割り当てる。 CGD-PDは1つの3ウェイ分類器を$H$と$H$の機械式の両方でクエリする軽量なテスト時間層である。
  論文  参考訳（メタデータ） (2026-03-12T18:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。