論文の概要: Ignorance or Incompetence? Constructing Knowledge-Gated, Verifiable Tasks for LLM Agents
- arxiv url: http://arxiv.org/abs/2608.30322v1
- Date: Mon, 31 Aug 2026 06:39:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.260246
- Title: Ignorance or Incompetence? Constructing Knowledge-Gated, Verifiable Tasks for LLM Agents
- Title（参考訳）: 無知か無能か : LLMエージェントのための知識学習・検証可能なタスクの構築
- Abstract要約: 本稿では,タスク命令をコンパクトなアーティファクトから分離するナレッジ付きタスク構築プロトコルを提案する。
1つのフロンティアエージェント構成は、アーティファクトで68.0%のパスレート、それなしで0%のパスレートを達成する。
保持されたタスクがポストトレーニングを改善するという確証はない。
- 参考スコア（独自算出の注目度）: 16.70932968825709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Professional agent tasks often depend on conventions that are absent from public corpora, yet benchmarks rarely control whether an agent has access to those conventions. We introduce a knowledge-gated task-construction protocol that separates a task instruction from a compact artefact containing private conventions, reference tables, and utility operators. Construction-time provenance, byte-identical task instructions across the provided- and withheld-artefact conditions, leak audits, and executable witnesses make dependence on the artefact explicit and testable. Across fifteen calibration tasks, one frontier agent configuration achieves a 68.0% pass rate with the artefact and 0% without it; on one task, a plausible but incorrect artefact also yields 0% across five trials. Deterministic solvers and rule corpora provide exact ground truth for structured tasks, while named criterion-level rubrics support outputs that cannot be checked by a single executable oracle. A configuration-relative calibration screen retains seven tasks satisfying our five-trial empirical knowledge-gating screen. These experiments validate the behavior of the construction protocol; they do not establish that the retained tasks improve post-training. We publicly release part of the task suite and supporting tooling at https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction.
- Abstract（参考訳）: プロのエージェントタスクは、しばしば公共のコーパスから外れた規約に依存するが、ベンチマークはエージェントがそれらの規約にアクセスできるかどうかを制御することは滅多にない。
本稿では,タスク命令を,プライベートコンベンション,参照テーブル,ユーティリティオペレータを含むコンパクトなアーティファクトから分離する,ナレッジ付きタスク構築プロトコルを提案する。
建設時証明、提供済みおよび維持されていないアーティファクト条件、漏洩監査、実行可能証人は、そのアーティファクトに依存し、検証可能である。
15の校正作業において、1つのフロンティアエージェント構成は、アーティファクトと68.0%のパスレートを達成し、0%を不要とし、一方のタスクでは、プラプティブルだが不正なアーティファクトも5回の試行で0%を得る。
決定論的解法とルールコーパスは、構造化されたタスクに対して正確な基底真理を提供するが、名前付きクレーターレベルのルーリックは単一の実行可能なオラクルでチェックできない出力をサポートする。
構成相対的なキャリブレーション画面は、私たちの5つの心的経験的知識ゲーティングスクリーンを満たす7つのタスクを保持します。
これらの実験は, 建設プロトコルの挙動を検証し, 維持作業が訓練後の改善を確実にするものではない。
タスクスイートの一部とサポートツールはhttps://github.com/DatagridsAI/Knowledge-Gated-Task-Construction.comで公開しています。
関連論文リスト
- Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。
本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。
このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
論文 参考訳（メタデータ） (2026-08-18T22:07:23Z) - SpecPath: Testing Coding Agents Across Contract-Equivalent Specification Histories [13.437222222971272]
仕様パスの感度は、最終的な意味において等価な要求履歴が同一のエージェントシステムに振る舞いの異なるプログラムを作成させる障害モードである。
本稿では,契約に至るリビジョンパスのみを変更しつつ,リポジトリ,最終契約,検証,エージェントシステム,実行予算を保持する診断評価であるSpecPathを紹介する。
論文 参考訳（メタデータ） (2026-08-10T16:19:00Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing [4.508726112104009]
大規模言語モデル (LLM) エージェントは、高性能コンピューティングにおける日常的な作業に取り組み始めている。
本稿では,HPC設定における脅威モデルを定義し,スケジューラ,共有ストレージ,マルチプロジェクトアカウント,科学的な評価を行い,現在の制御が不足している箇所について検討する。
論文 参考訳（メタデータ） (2026-07-20T20:16:02Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation [58.84646485020439]
人為的なAIスキルを生成するための自動トレース・ツー・スキル蒸留システムを提案する。
COLLEAGUE.SKILLは、実践、メンタルモデル、意思決定のための能力トラックと、コミュニケーションスタイル、インタラクションルール、修正履歴のための有界な行動トラックの2つのトラックを持つバージョン付きのスキルパッケージを生成する。
論文 参考訳（メタデータ） (2026-05-29T12:59:08Z) - BUILD-AND-FIND: An Effort-Aware Protocol for Evaluating Agent-Managed Codebases [0.0]
BUILD-AND-FINDは、下流エージェントが生成されたリポジトリから意図した選択を復元できるかどうかを評価するプロトコルである。
各タスクに対して、ビルダーは隠されたリポジトリの仕様を見て、仕様に書かれた複数選択の質問バンクを作成します。
このプロトコルは、行動の正しさをアーティファクト側のリカバリから切り離し、リカバリの正確性、再現性、実装のカバレッジ、検査の労力を報告します。
論文 参考訳（メタデータ） (2026-05-07T12:35:27Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳（メタデータ） (2021-05-08T22:26:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。