論文の概要: mimeo: Compiling Public Expert Corpora into Agent Skills and Testing What Transfers
- arxiv url: http://arxiv.org/abs/2609.00453v1
- Date: Mon, 31 Aug 2026 22:46:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.122355
- Title: mimeo: Compiling Public Expert Corpora into Agent Skills and Testing What Transfers
- Title（参考訳）: mimeo:公開専門家コーパスをエージェントスキルにコンパイルし、移行をテスト
- Abstract要約: エージェントに専門家に関するファイルを与えると、ハード・トゥ・フィニッシュな素材を提供し、認識可能なペルソナを生成したり、エージェントが決定する内容を変更することができるかどうかをテストする。
Mimeoはオープンソースのツールで、人の公開作業を見つけ、抽出された各引用をキャッシュされたソーステキストと照合し、エージェントがロードできるファイルを書き込む。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Giving an agent a file about a named expert can supply hard-to-find material, produce a recognizable persona, or change what the agent decides. These are different claims. We test each one. mimeo is an open-source tool that finds a person's public work, checks each extracted quotation against the cached source text, and writes a file an agent can load. Eight logged builds averaged 38 model calls; the check rejects 13.2% of extracted quotations. We tested four expert files with one coding-agent harness. Knowledge access was clearest: mimeo answered all 20 obscure, quotation-heavy questions; no closed-book condition answered more than 10. Keyword search (BM25) over the same pages answered 15-17, a gap this sample cannot resolve. Grounding showed one clear benefit: personas written from model memory misstated a documented position on 1-4 of 20 answers under every grader; the plain agent and mimeo never did. Every persona was easy to spot on short open prompts, and adding task material lowered identification by 18-23 points. mimeo was no more identifiable than a from-memory profile. Judgment transfer remained unresolved because both tests hit their ceiling: every condition found 94-97% of the problems planted in engineering tasks and scored 94-100% on 16 new application scenarios. An AI-judged "sounds like the expert" score changed with the judge: two of four preferred answers based on a model's stereotype, while two found no difference on the same text. That is a caution against relying on a single AI judge. The evidence supports mimeo as a compact, inspectable reference on a person, not as a demonstrated transfer of their judgment. Toolkit and expert profiles: https://github.com/K-Dense-AI/mimeo
- Abstract（参考訳）: エージェントに名前のついた専門家に関するファイルを与えると、ハード・トゥ・フィニッシュな素材を供給したり、認識可能なペルソナを作成したり、エージェントが決定するものを変更することができる。
これらは異なる主張である。
それぞれをテストします。
mimeoはオープンソースのツールで、人の公開作業を見つけ、抽出された各引用をキャッシュされたソーステキストと照合し、エージェントがロードできるファイルを書き込む。
8つのログされたビルドは平均38のモデルコールを実行し、チェックは抽出された引用の13.2%を拒否する。
4つの専門家ファイルを1つのコーディングエージェントハーネスでテストした。
Mimeoは20の曖昧で引用の多い質問に回答し、クローズドブックの条件は10以上だった。
同じページ上のキーワード検索 (BM25) は15-17に答えた。
モデルメモリから書かれたペルソナは、グレーダ毎に20の回答のうち1-4で文書化された位置を間違えた。
すべてのペルソナは短いオープンプロンプトで簡単に見つけられ、タスク材料を追加して識別を18～23ポイント下げた。
mimeoは、メモリからのプロファイル以上の識別はできませんでした。
すべての条件で、エンジニアリングタスクに植えられた問題の94-97%が見つかり、16の新しいアプリケーションシナリオで94-100%が達成された。
モデルのステレオタイプに基づいた4つの回答のうち2つは、同じテキストで何の差も見つからなかった。
これは、単一のAI裁判官に頼ることに対する警告だ。
証拠は、ミメオを人に対するコンパクトで検査可能な参照として、彼らの判断の実証的な伝達としてではなく、支持している。
Toolkitとエキスパートプロファイル:https://github.com/K-Dense-AI/mimeo
関連論文リスト
- Commit-first LLM judging inherits the judge's own errors [0.0]
LLMジャッジは、他のシステムの出力をスコアするモデルであり、彼らがスコアするシステムによってゲームをすることができる。
裁判官は最初にタスクを解決し、その答えにコミットし、2つが一致した場合のみ候補者を受け入れる。
これをコミットファースト判断と呼び、出荷されたソフトウェアがそれを実装しているかどうか、そのコストについて尋ねます。
論文 参考訳（メタデータ） (2026-08-31T12:14:14Z) - Scientific Agent Skills: A Library of Procedural Knowledge for Research Agents [0.0]
科学エージェントスキル(Scientific Agent Skills)は、16の領域で163の手順のオープンライブラリである。
各スキルは、バージョン管理されたヒューマン可読な命令ファイルを中心に構築されたディレクトリである。
ドキュメントコーパスの2つの特性を測る。163スキルの常駐記述は、20万のウィンドウの7.1%、ドキュメントワークフローの中央値は23.9%である。
論文 参考訳（メタデータ） (2026-08-30T15:40:35Z) - Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。
循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。
そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
論文 参考訳（メタデータ） (2026-08-25T09:34:18Z) - Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories [0.0]
永続コンテキストファイル(AGENTS.md, CLAUDE.md)は、AIコーディングエージェントを誘導する標準的な慣行であるが、それらの効果の証拠は矛盾している。
我々は2つのフロンティアエージェント(Claude Code と Codex)間のコンテキスト注入戦略の制御されたアブレーションを示す。
論文 参考訳（メタデータ） (2026-07-28T11:07:53Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - From Anatomy to Smells: An Empirical Study of SKILL.md in Agent Skills [4.0191978165144935]
ソフトウェアアーティファクトとしてSKILL$.$mdファイルの体系的研究を行った。
上位13と下位44のセマンティック・コンポーネントの分類法を導出する。
我々は、SKILL$.$mdファイルの99%以上が少なくとも1つのスキルの匂いが含まれていることを発見した。
論文 参考訳（メタデータ） (2026-07-01T20:21:33Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。