論文の概要: Can You Check That? The Checkability Boundary for Local LLM Network Automation

• arxiv url: http://arxiv.org/abs/2609.31540v1
• Date: Fri, 25 Sep 2026 17:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.49969
• Title: Can You Check That? The Checkability Boundary for Local LLM Network Automation
• Title（参考訳）: チェックできる? ローカルLLMネットワーク自動化のためのチェック可能性境界
• Abstract要約: 本研究は,どのタスクが局所的推論に適したかを判定するための基準として,チェック可能性を導入する。 タスクは、必要な正確性条件に違反するアウトプットを拒否する、安価な決定論的テスト(本質的なチェック)を公開すると、チェック可能である。 このアイデアを,7つの既製のSLMを使って候補を生成するローカルファーストパイプラインであるTouchstoneでインスタンス化する。
• 参考スコア（独自算出の注目度）: 0.17188280334580197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sending every network-automation input to a third-party frontier LLM exports sensitive artifacts such as production configurations, topologies, and logs. Querying small language models (SLMs) locally avoids this egress, but SLM outputs can be error-prone for direct use. This work introduces checkability as a criterion for determining which tasks are suitable for local inference. A task is checkable when it exposes a cheap, deterministic test - an intrinsic check - that rejects outputs violating a necessary correctness condition. We instantiate this idea in Touchstone, a local-first pipeline that uses seven off-the-shelf SLMs (1-8B parameters) to generate candidates, uses task-specific intrinsic checks to reject responses, and escalates unresolved inputs to a frontier LLM. On conflict detection and intent translation tasks, Touchstone reaches 98.6% and 93.8% end-to-end accuracy while escalating only 16% and 17% of inputs, respectively. On TeleQnA, a knowledge-only control that has no task-specific intrinsic checks, Touchstone is unable to match the accuracy of the frontier baseline. Our results support a simple deployment rule: keep inference local when task semantics support precise, low-cost checks; escalate the rest.
• Abstract（参考訳）: すべてのネットワーク自動入力をサードパーティのフロンティア LLM に送信すると、生産構成やトポロジ、ログといった機密性の高いアーティファクトがエクスポートされる。 小さい言語モデル(SLM)のクエリは、このエクスグレスをローカルに回避するが、SLM出力は直接使用するためにエラーを起こしやすい。 本研究は,どのタスクが局所的推論に適したかを判定するための基準として,チェック可能性を導入する。 タスクは、必要な正確性条件に違反するアウトプットを拒否する、安価な決定論的テスト(本質的なチェック)を公開すると、チェック可能である。 このアイデアは,7つのオフザシェルフSLM(1-8Bパラメータ)を使用して候補を生成し,タスク固有の固有チェックを使用して応答を拒否し,未解決の入力をフロンティアLLMにエスカレートする,ローカルファーストパイプラインであるTouchstoneでインスタンス化する。 競合検出と意図翻訳のタスクでは、Touchstoneは98.6%、エンドツーエンドの精度は93.8%に達し、それぞれ入力の16%と17%しかエスカレートしていない。 タスク固有の固有のチェックを持たない知識のみの制御であるTeleQnAでは、Touchstoneはフロンティアベースラインの精度と一致しない。 タスクセマンティクスが正確で低コストなチェックをサポートする場合、推論をローカルに保ち、残りをエスカレートする。

関連論文リスト

• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。