論文の概要: Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness

• arxiv url: http://arxiv.org/abs/2608.20389v1
• Date: Tue, 30 Jun 2026 17:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.295889
• Title: Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness
• Title（参考訳）: Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness (特集:情報工学)
• Abstract要約: 生産エージェントハーネスは、ユーザのタスクに最も適したスキルのライブラリから、発見とランク付けをしなければならない。 プロダクションマルチモーダルなビデオエージェントであるTinycloudが、そのプランナーのスキルをどのように表現しているかを示す。 6タスク選択アブレーションは、全自動負荷が各タスクにおける金のスキルを選択することを示している。
• 参考スコア（独自算出の注目度）: 1.658296894271926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A production agent harness must discover and rank, from a growing library of skills, the one most appropriate for a user's task. At small scale this selection happens in context: the LLM planner chooses among skill representations exposed in its system prompt, without an explicit embedding-based retrieval step. We treat this in-context selection as the small-N counterpart to embedding-based skill retrieval at scale, and present a case study of how Tinycloud, a production multimodal video agent harness, represents its skills for the planner. The harness ships skills under two recurring representations: tool-skills that wrap a single external API or system tool and serve as primitive vocabulary, and workflow-skills that orchestrate tool-skill calls plus a template render to produce one named deliverable. The harness exposes them via two surfaces in the system prompt: an inlined-body surface (full instructions, scripts, templates) for autoloaded skills, and a one-line listing for on-demand skills. A six-task selection ablation across three exposure regimes (all-on, default, all-off) shows that full autoload selects the gold skill on every task; all-off slows execution and produces hard discovery failures; and the production default misroutes one task because its lexical signal collides with an autoloaded tool-skill that pulls planner attention away from a listed workflow-skill. The headline finding is that in-prompt exposure of skills is not monotonically helpful: partial exposure can create lexical competition that suppresses correct selection. We connect this small-N observation to recent retrieval-based skill-routing work at large scale, and frame this contribution as a case study rather than a benchmark.
• Abstract（参考訳）: 生産エージェントハーネスは、ユーザのタスクに最も適したスキルのライブラリから、発見とランク付けをしなければならない。 LLMプランナは、明示的な埋め込みベースの検索ステップなしで、システムプロンプトで公開されているスキル表現の中から選択する。 我々は、このコンテキスト内選択を、大規模に埋め込みベースのスキル検索に匹敵する小さなNとして扱うとともに、マルチモーダルなビデオエージェントであるTinycloudがプランナーのスキルをどのように表現するかのケーススタディを提示する。 ツールスキルは、単一の外部APIまたはシステムツールをラップし、プリミティブな語彙として機能するツールスキルと、ツールスキルコールをオーケストレーションするワークフロースキルと、名前の付いた成果物を生成するテンプレートレンダリングである。 このハーネスは、インラインボディの表面(フルインストラクション、スクリプト、テンプレート)、自動ロードされたスキル、オンデマンドスキルの1行リストという2つのプロンプトを介してそれらを公開する。 3つのエクスポージャーレシスタンス(オールオン、デフォルト、オールオフ)にわたる6タスク選択アブレーションは、全自動負荷がすべてのタスクで金のスキルを選択すること、全自動負荷が実行を遅くし、ハードな発見失敗を引き起こすこと、プロダクションデフォルトは、レキシカルシグナルが、リストされたワークフロースキルからプランナーの注意を引き離す自動負荷ツールスキルと衝突するため、ひとつのタスクを誤解することを示している。 見出しは、スキルの即時露光は単調に役に立たない:部分露光は、正しい選択を抑制する語彙的競争を引き起こす。 我々は、この小さなN観察を、最近の検索ベースのスキルルーティング作業と大規模に結びつけ、この貢献をベンチマークではなくケーススタディとして捉えている。

関連論文リスト

• Generative Skill Composition for LLM Agents [58.47191648555256]
  LLMエージェントは複雑なタスクを解決するためのスキルの恩恵を受ける。 スキルライブラリが成長するにつれて、適切なスキル構成を選択することが中心的なボトルネックとして現れている。 本稿では,タスク条件付きスキルシーケンス予測として構造化されたスキルコンポジションをインスタンス化するSkillComposerを提案する。
  論文  参考訳（メタデータ） (2026-06-30T17:53:09Z)
• Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns [68.0603867264595]
  SkillMigratorは再利用可能なWebスキルを学習し、特定の要素参照ではなくレイアウト構造にマッチしてサイト間でそれらを転送する。 WebArenaとMind2Webの両方において、成功軌道上の平均LCM-アクション数を、一致した成功速度で8-10%削減する。
  論文  参考訳（メタデータ） (2026-06-16T08:04:35Z)
• SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
  有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。 SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。 実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-05-12T12:21:49Z)
• SkillRAE: Agent Skill-Based Context Compilation for Retrieval-Augmented Execution [10.83969404435554]
  大きな言語モデル(LLM)ベースのエージェントは、アーティファクトリッチなタスクを解決するために、再利用可能なスキルライブラリに依存している。 本稿では,スキルベースのコンテキストコンパイルに着目した2段階RAE手法であるSkillRAEを提案する。 2つの公開ベンチマークの実験によると、SkillRAEはRAEのベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-05-11T07:31:48Z)
• Offline Discovery of Interpretable Skills from Multi-Task Trajectories [8.119611773942562]
  オフラインスキル発見と階層的模倣のための3段階のエンドツーエンド学習フレームワークであるLOKIを紹介する。 LOKIは、挑戦的なD4RL Kitchenベンチマークで高い成功率を獲得し、標準のHILベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-01T05:03:58Z)
• Generative Compositor for Few-Shot Visual Information Extraction [60.663887314625164]
  生成空間モデルとして生成空間モデル(Generative Generative Spacetor)を提案する。 ジェネレーティブジェネレーター(Generative Generative Spacetor)は、ソーステキストから単語を検索することでコンポジタの操作をエミュレートするハイブリッドポインタージェネレータネットワークである。 提案手法は,1ショット,5ショット,10ショットの設定において,ベースラインを上回りながら,フルサンプルトレーニングにおいて高い競争力を発揮する。
  論文  参考訳（メタデータ） (2025-03-21T04:56:24Z)
• TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
  TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Agentic Skill Discovery [19.5703917813767]
  言語条件付きロボット技術により、Large Language Models (LLMs) の高レベル推論を低レベルロボット制御に適用することができる。 残る課題は、さまざまな基本的なスキルを取得することです。 LLMによって完全に駆動されるスキル発見のための新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-23T19:44:03Z)
• Prompt Tuning with Soft Context Sharing for Vision-Language Models [42.61889428498378]
  本稿では,複数目的の複数ショットタスクにおいて,事前学習した視覚言語モデルを協調的にチューニングする新しい手法を提案する。 我々は,SoftCPTがシングルタスクのプロンプトチューニング方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-29T10:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。