論文の概要: Annotrace: A Workbench for Step-Level Annotation of Agent Traces

• arxiv url: http://arxiv.org/abs/2610.23284v2
• Date: Mon, 19 Oct 2026 10:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.331633
• Title: Annotrace: A Workbench for Step-Level Annotation of Agent Traces
• Title（参考訳）: Annotrace: エージェントトレースのステップレベルアノテーションのためのワークベンチ
• Abstract要約: Annotraceは6つのトレースフォーマットを読み出し、各ランを順序付きネストされたステップリストに変換する。 アノテーションは独自のラベル付けコードブックを書く。 フロンティアモデルは、自身のトレースのサンプルから開始セットを提案し、最初に回答し、人間が尋ねられる質問を正確に問う。
• 参考スコア（独自算出の注目度）: 4.897722668838932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every study of why LLM agents fail begins by labelling traces by hand, and every such study builds its own throwaway tool. Observability platforms record agent traces but offer no structured labelling; annotation tools label text but have no notion of a step, a delegation or a tool call, leaving it unclear what the smallest unit of execution to label should be. Annotrace reads six trace formats, including OpenTelemetry GenAI, LangSmith and Langfuse, and turns each run into an ordered, nested list of steps. The annotator writes their own labelling codebook; a frontier model proposes a starting set from a sample of their own traces, answers first, and is asked exactly the questions the human is asked, making annotation a joint human-AI process. Annotrace measures agreement between any two annotators, human or AI. On a multi-agent question-answering corpus it reproduces a previous manual effort's 235 annotation units exactly, and two models labelling the same traces agree 91% of the time at $κ= 0.82$.
• Abstract（参考訳）: LLMのエージェントがなぜ失敗するのかに関するすべての研究は、手動でトレースをラベル付けすることで始められ、そのような研究はすべて、独自の捨てられたツールを構築します。 アノテーションツールはテキストをラベル付けするが、ステップやデリゲート、ツールコールの概念は持っていない。 AnnotraceはOpenTelemetry GenAI、LangSmith、Langfuseを含む6つのトレースフォーマットを読み出し、各ランを順序付きネストされたステップリストに変換する。 アノテータは独自のラベリングコードブックを書き、フロンティアモデルは自身のトレースのサンプルから開始セットを提案し、最初に回答し、人間が尋ねる質問を正確に問う。 Annotraceは、人間とAIのいずれかのアノテータ間の合意を測る。 マルチエージェントの質問回答コーパスでは、以前の手作業の235のアノテーションユニットを正確に再現し、同じトレースをラベル付けした2つのモデルは、κ= 0.82$で91%の時間に一致する。

関連論文リスト

• TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development [37.08099664563133]
  TraceMLは、人間とエージェントのペアで、1つのバージョンレベルのスキーマの下で同じ競合に取り組みます。 すべてのコードバージョンはスコア、タイムスタンプ、アクションのラベル、意図、編集サイズ、スコア効果を持っている。
  論文  参考訳（メタデータ） (2026-08-26T17:50:13Z)
• AgentLTL: A Trace-Verification Framework for Measuring, Enforcing, and Training Procedural Compliance in Tool-Using LLM Agents [4.049272375488184]
  AgentLTLは、プロシージャルールをエージェントトレースに表現する。 1つの仕様は2つの利用を駆動する。 同じ報酬で微調整すると +38 と +17.5 のポイントゲインが得られる。
  論文  参考訳（メタデータ） (2026-07-01T10:47:20Z)
• From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
  セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。 人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。 ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
  論文  参考訳（メタデータ） (2026-06-03T14:26:25Z)
• RECIPE: Procedural Planning via Grounding in Instructional Video [30.96089823924218]
  本稿では,RECIPEがノイズの多いビデオコーパスからクリーンなステップラベルを抽出する方法を示す。 RECIPEはGRPOの報酬としてグラウンド品質を使用し、ノイズの多いコーパスをラベルソースではなく検証器に変換する。 基準ベースLCM-as-judgeプロトコルを用いて,6つの手続き基準にまたがる計画を評価する。
  論文  参考訳（メタデータ） (2026-05-19T15:20:39Z)
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。 本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。 完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• SciAnnotate: A Tool for Integrating Weak Labeling Sources for Sequence Labeling [55.71459234749639]
  SciAnnotateはSciAnnotateという名前のテキストアノテーションのためのウェブベースのツールで、科学的なアノテーションツールを指す。 我々のツールは、弱いラベルを作成するために複数のユーザフレンドリーなインターフェースを提供する。 本研究では,Bertifying Conditional Hidden Markov Modelを用いて,ツールが生成する弱いラベルを識別する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-07T19:18:13Z)
• Learning to Detect Mobile Objects from LiDAR Scans Without Labels [60.49869345286879]
  現在、自動運転のための3Dオブジェクト検出器は、ほとんど完全に人間の注釈付きデータに基づいて訓練されている。 本稿では,地球上のほぼどこでも,安価かつ多量に収集できるラベルなしデータに基づく代替手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T20:05:24Z)
• Semantics through Time: Semi-supervised Segmentation of Aerial Videos with Iterative Label Propagation [16.478668565965243]
  本稿では,SegPropの導入によって自動アノテーションへの重要な一歩を踏み出す。 SegPropは、空間と時間におけるスペクトルクラスタリングに直接接続する、新しい反復フローベースの手法である。 Ruralscapesは、50フレーム毎に高解像度(4K)イメージと手動で注釈付けされた高密度ラベルを備えた、新しいデータセットである。 われわれの小説『SegProp』は、残っていない98%のフレームを90%を超える精度で自動的に注釈付けする。
  論文  参考訳（メタデータ） (2020-10-02T15:15:50Z)
• CycAs: Self-supervised Cycle Association for Learning Re-identifiable Descriptions [61.724894233252414]
  本稿では,人物再識別(re-ID)問題に対する自己教師型学習手法を提案する。 既存の教師なしのメソッドは通常、ビデオトラッカーやクラスタリングのような擬似ラベルに依存している。 疑似ラベルを使わずに、生のビデオから歩行者の埋め込みを学習できる別の教師なし手法を導入する。
  論文  参考訳（メタデータ） (2020-07-15T09:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。