論文の概要: Don't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at Scale

• arxiv url: http://arxiv.org/abs/2608.01050v1
• Date: Sun, 02 Aug 2026 07:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.072834
• Title: Don't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at Scale
• Title（参考訳）: できないことを提供するな: LLMスキルのスケール選択のための決定論的実行可能性ゲーティング
• Authors: Ortal Ashkenazi, Vitalii Kloz, Mykhailo Ulianchenko,
• Abstract要約: We present a three-stage selection pipeline for Helpmate, Wix's customer-care assistant。 リコール指向セマンティックマーカは、アカウントの状態を参照せずに10スキルドメインファミリーに関連するメッセージを識別する。 決定論的実行性ゲートは、内部ハードストップ条件が保持されている候補を除去する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Production LLM agents that select from large skill libraries face a limitation that semantic relevance alone cannot resolve: a skill may match a user's topic yet be impossible to execute in the current account state. We present a deployed three-stage selection pipeline for Helpmate, Wix's customer-care assistant. First, a recall-oriented semantic matcher identifies messages related to a ten-skill domain family without consulting account state. Second, a deterministic executability gate removes candidates whose internal hard-stop conditions hold. Because the gate and the skill evaluate the same exit predicates, every blocked candidate would be unable to complete under the same account state, provided predicate parity is preserved and both checks observe fresh authoritative state. Finally, the LLM decides whether to invoke one of the remaining candidates. In a post-launch production analysis of 756.6K user messages across 267.6K conversations, semantic matching retained 174,927 messages (23.1%). Within this matched stream, the gate removed 1,039,462 of 1,749,270 skill-message pairs (59.4%), saving 228.8 million skill-description tokens -- 59.1% of the post-semantic skill-description footprint. Together, semantic matching and executability gating reduced skill-description context by 90.5% relative to exposing all ten skills to every message. To test whether this pruning affects model behavior rather than context size alone, we replayed a risk-enriched cohort of 1,000 conversations with all ten skills exposed. The model selected a production-blocked skill in 78 conversations (7.8%). This counterfactual result shows that deterministic gating prevents non-executable candidates from influencing model selection, while not claiming downstream tool execution or customer-outcome effects.
• Abstract（参考訳）: 大規模なスキルライブラリから選択したLLMエージェントは、セマンティックな関連性だけでは解決できない制限に直面している。 WixのカスタマーケアアシスタントであるHelpmate向けに,3段階選択パイプラインをデプロイした。 まず、リコール指向セマンティックマーカは、アカウントの状態を参照せずに10スキルドメインファミリーに関連するメッセージを識別する。 第二に、決定論的実行可能性ゲートは、内部のハードストップ条件が保たれている候補を除去する。 ゲートとスキルが同じ出口の述語を評価するため、ブロックされたすべての候補者は同じ会計状態の下では完了できないだろう。 最後に、LLMは残りの候補の1つを呼び出すかどうかを決定する。 267.6Kの会話で756.6Kのユーザーメッセージが生産された後、セマンティックマッチングは174,927メッセージ(23.1%)を保持した。 このマッチしたストリームの中で、ゲートは1,749,270のスキルメッセージペアのうち1,039,462個(59.4%)を除去し、228.8万のスキル記述トークンを節約した。 セマンティックマッチングと実行可能性ゲーティングは、すべてのメッセージに10のスキルを露呈するのに対して、スキル記述コンテキストを90.5%削減した。 このプルーニングがコンテキストサイズ単独ではなくモデル行動に影響を及ぼすかどうかを調べるため、私たちは10のスキルが暴露された1000の会話のリスク強化コホートを再生した。 このモデルは78の会話(7.8%)でプロダクションブロックされたスキルを選択した。 この反現実的な結果は、決定論的ゲーティングは、非実行可能な候補が下流ツールの実行や顧客アウトカム効果を主張せず、モデル選択に影響を与えることを妨げていることを示している。

関連論文リスト

• Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
  私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。 モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
  論文  参考訳（メタデータ） (2026-08-02T05:00:44Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents [99.67681154381803]
  Test-time Rule Acquisition and Compiled Enforcement (TRACE)は、コーディングエージェントランタイムのためのスキル層パイプラインである。 開発者が事前に記述した実行時チェックとは異なり、TRACEスキルはユーザのチャット修正に由来する。
  論文  参考訳（メタデータ） (2026-06-11T10:43:40Z)
• SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
  本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。 各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。 ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
  論文  参考訳（メタデータ） (2026-06-02T02:45:21Z)
• COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation [58.84646485020439]
  人為的なAIスキルを生成するための自動トレース・ツー・スキル蒸留システムを提案する。 COLLEAGUE.SKILLは、実践、メンタルモデル、意思決定のための能力トラックと、コミュニケーションスタイル、インタラクションルール、修正履歴のための有界な行動トラックの2つのトラックを持つバージョン付きのスキルパッケージを生成する。
  論文  参考訳（メタデータ） (2026-05-29T12:59:08Z)
• Behavioral Integrity Verification for AI Agent Skills [9.127363793428119]
  我々はこれを行動整合性検証(BIV)問題として定式化する。 OpenClawレジストリの49,943のスキルでは、逸脱分類が広範な記述と実装のギャップを明らかにしている。 906スキルの悪質なスキル検出ベンチマークでは、BIVは0.946のF1に達し、最先端のルールベースとシングルパスのLCMベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T08:41:09Z)
• Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
  SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。 SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
  論文  参考訳（メタデータ） (2026-05-12T02:11:54Z)
• CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs [62.116710797795314]
  大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。 タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。
  論文  参考訳（メタデータ） (2025-11-18T21:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。