論文の概要: Skill Use or Skill Theater? Evaluating the Reasoning Backroom in Skill-Augmented Language Agents
- arxiv url: http://arxiv.org/abs/2607.27484v1
- Date: Wed, 29 Jul 2026 21:59:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.326761
- Title: Skill Use or Skill Theater? Evaluating the Reasoning Backroom in Skill-Augmented Language Agents
- Title（参考訳）: スキル・ユース・アンド・スキル・シアター : スキル強化型言語エージェントにおける推論バックルームの評価
- Authors: Jinwei Hu, Yi Qi, Xinmiao Huang, Youcheng Sun, Yi Dong, Xiaowei Huang,
- Abstract要約: 我々は、スキル強化エージェントが、前述のスキル使用と介入測定の影響の体系的なギャップであるtextbfReasoning Backroom を提示するかどうかを問う。
BACKTRACE(BACKTRACE)は,各スキル条件の回答と一致した非スキルのカウンターファクトとをペアリングする評価フレームワークである。
BACKROOMBenchは、制御された論理と競合数学にまたがる検証ベッドである。
- 参考スコア（独自算出の注目度）: 19.325317938976355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reusable skills are becoming a standard interface for extending language agents with task procedures. Yet evaluators usually infer skill use from visible reasoning or the agent's own attribution. These signals show what the agent appears to use, not whether the skill changed its decision. We ask whether skill-augmented agents exhibit a \textbf{Reasoning Backroom}, a systematic gap between stated skill use and intervention-measured influence. We introduce BACKTRACE, an evaluation framework that pairs each skill-conditioned answer with a matched no-skill counterfactual, intervenes on skill meaning, wording, identity, content, and assignment, and elicits attribution only after the answer is committed. We instantiate the framework as BACKROOMBench, a verified testbed spanning controlled logic and competition mathematics, multiple skill conditions, single-agent and multi-agent settings, and diverse model families. Our evaluation reveals a pervasive provenance failure. Across models and domains, stated skill use often remains stable while causal reliance and signed utility vary, producing both silent uptake and performative use. Behavioral effects follow procedural content more reliably than displayed skill identity, whereas stated attributions respond strongly to artifact availability. Observational detectors based on direct skill-use claims, text mentions, trace similarity, and an LLM judge do not identify which decisions actually depend on the skill. In multi-agent systems, skill influence can survive communication even after its source is lost, while no-skill teams still name skills and sources that were never supplied. These findings establish the Reasoning Backroom as a general AI provenance problem whose audit requires intervention.
- Abstract（参考訳）: 再利用可能なスキルは、タスクプロシージャで言語エージェントを拡張するための標準インターフェースになりつつある。
しかし、評価者は、通常、目に見える推論やエージェント自身の属性からスキルの使用を推測する。
これらのシグナルは、そのスキルが決定を変えたかどうかではなく、エージェントが何を使用したかを示す。
我々は,スキル強化エージェントが,スキル使用と介入測定の影響の体系的なギャップである「textbf{Reasoning Backroom}」を提示するかどうかを問う。
BACKTRACE(BACKTRACE)は,各スキル条件の解答と一致した非熟練の正解とをマッチングし,その解答が実行された後にのみ帰属する能力的意味,語義,アイデンティティ,内容,課題に介入する評価フレームワークである。
フレームワークをBACKROOMBench、制御された論理と競合数学、複数のスキル条件、単一エージェントとマルチエージェント設定、多種多様なモデルファミリーにまたがる検証済みの検証ベッドとしてインスタンス化する。
評価の結果,広範囲にわたる予後不良が判明した。
モデルやドメイン全体では、しばしばスキルの使用は安定しているが、因果依存や署名されたユーティリティは様々であり、サイレント取り込みとパフォーマンス使用の両方を生み出している。
行動効果は、提示されたスキルアイデンティティよりもプロシージャの内容に確実に従うが、アトリビューションはアーティファクトの可用性に強く反応する。
直接のスキル使用のクレーム、テキストの言及、トレース類似性、LLMの判断に基づく観測検出器は、どの決定が実際にスキルに依存しているかを識別しない。
マルチエージェントシステムでは、ソースが失われても、スキルの影響はコミュニケーションを生き残ることができる。
これらの知見は、監査が介入を必要とする一般的なAI証明問題として、Reasoning Backroomを確立している。
関連論文リスト
- SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。
実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。
トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
論文 参考訳（メタデータ） (2026-06-21T17:40:05Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - Co-Evolving Skill Generation and Policy Optimization [35.41582114275514]
既存の手法は通常、強力な言語モデルを使用してトラジェクトリを分析し、スキルを生成し、オンライントレーニング中に検索可能なスキルバンクを更新します。
プレストレージスキル検証のためのオンライン強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-07T17:55:55Z) - SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History [4.682850246574405]
SkillHoneは、永続的な意思決定履歴に基づく継続的エージェントスキル進化のためのハーネスである。
SkillHoneは、フィードバックを提供する評価側の証拠とスキルリビジョンをペアリングする。
我々は、エージェントが統合検索スタックを与えられない生のオープンウェブ環境で、SkillHoneをディープ検索ベンチマークで評価する。
論文 参考訳（メタデータ） (2026-06-07T15:21:08Z) - COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation [58.84646485020439]
人為的なAIスキルを生成するための自動トレース・ツー・スキル蒸留システムを提案する。
COLLEAGUE.SKILLは、実践、メンタルモデル、意思決定のための能力トラックと、コミュニケーションスタイル、インタラクションルール、修正履歴のための有界な行動トラックの2つのトラックを持つバージョン付きのスキルパッケージを生成する。
論文 参考訳（メタデータ） (2026-05-29T12:59:08Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - SkillGen: Verified Inference-Time Agent Skill Synthesis [60.927977774369516]
SkillGenは、ベースエージェントによって生成されたトラジェクトリから単一の監査可能なスキルを合成するフレームワークである。
再利用可能な成功パターン、繰り返し発生する障害モード、そして近くの成功に現れるが失敗に欠ける行動を特定する。
SkillGenの重要な特徴は、エージェントスキルを、全体的なパフォーマンスに対するスキルのネット効果を実証的に検証するための介入としてモデル化することです。
論文 参考訳（メタデータ） (2026-05-09T19:24:11Z) - From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。
より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
論文 参考訳（メタデータ） (2026-04-30T09:53:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。