論文の概要: Goldsmith: Gold-Loss-Guided Definition Optimization with an Agentic Annotation Harness

• arxiv url: http://arxiv.org/abs/2610.09489v1
• Date: Wed, 07 Oct 2026 05:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.740971
• Title: Goldsmith: Gold-Loss-Guided Definition Optimization with an Agentic Annotation Harness
• Title（参考訳）: Goldsmith: エージェントアノテーションによるゴールドロスガイドによる定義最適化
• Abstract要約: 多くのアノテーションプロジェクトは、専門家がタスク固有のモデルをトレーニングするための安定したガイドラインまたは十分なラベルを持つ前に始まります。 我々は、小さな金セットを再利用可能な構造的アノテーション定義に変換するエージェントパイプラインであるGoldsmithを提示する。
• 参考スコア（独自算出の注目度）: 6.452816596038137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many annotation projects begin before experts have a stable guideline or enough labels to train a task-specific model. We present Goldsmith, an agentic pipeline that turns a small gold set---expert-annotated calibration examples representing the intended task boundaries---into a reusable structured annotation definition. Goldsmith treats this definition as a trainable textual object. Candidate definitions are run on the same gold examples and scored with an executable structured loss, while the output schema, formatting, retrieval, repair, judging, and human review remain in an external harness. A large language model (LLM) editor converts the highest-loss failures into textual-gradient revisions, which are accepted only when the measured loss decreases. In prompt-optimization comparisons, Goldsmith improves over direct rewriting, OPRO, APE, and PromptBreeder under matched evaluation protocols. The resulting definition also improves downstream annotation when combined with retrieval, score-based routing, and human review across typed span, pair-level relation, and fixed-trigger event-argument tasks. These results show that scarce expert supervision can support both task-definition learning and scalable annotation.
• Abstract（参考訳）: 多くのアノテーションプロジェクトは、専門家がタスク固有のモデルをトレーニングするための安定したガイドラインまたは十分なラベルを持つ前に始まります。 我々はGoldsmithというエージェントパイプラインを、目的とするタスク境界を表す小さな金のセット--専門家によるキャリブレーション例-を再利用可能な構造的アノテーション定義に変換する。 Goldsmithはこの定義をトレーニング可能なテキストオブジェクトとして扱う。 候補定義は、同じ金の例で実行され、実行可能な構造化された損失でスコアされ、出力スキーマ、フォーマット、検索、修復、判断、人間レビューは外部ハーネスに残る。 大規模言語モデル (LLM) エディタは、最大損失の失敗をテキスト段階のリビジョンに変換するが、これは測定された損失が減少するときにのみ受け入れられる。 即時最適化比較において、Goldsmithは一致した評価プロトコルの下で直接書き換え、OPRO、APE、PromptBreederを改善する。 結果として得られた定義は、検索、スコアベースのルーティング、型付きスパン、ペアレベルの関係、固定トリガーイベント処理タスクに対するヒューマンレビューと組み合わせることで、ダウンストリームアノテーションを改善している。 これらの結果から,タスク定義学習と拡張性アノテーションを両立できる専門家の不足が示唆された。

関連論文リスト

• Adapt Semantics, Not Structure: Few-Instance Schema Calibration for Scientific PDF Extraction [20.584669377401102]
  我々は、注釈付き文書からプロンプトとセマンティック記述を校正する意味抽出フレームワークCPSEを紹介する。 専門家によるアノテートされたポリマー科学文書では、CPSEは実行マッチングベースライン上で9.93ポイントの抽出を改善する。
  論文  参考訳（メタデータ） (2026-09-28T10:39:12Z)
• Bad Genius: Counterfactual-Guided Harness Evolution Beyond Task-Specific Shortcuts [4.3073010448091695]
  本稿では,有効な反現実的ベンチマークに対する制約生成として,Hergent Evolutionを活用可能なCASE(Courerfactual Harness Search and Evolution)を提案する。 我々はCHASEをSyn-LedgerおよびOfficeQA上で評価し、CHASEは強力なリリースベンチマークゲインを維持しつつ、有効なプロトコル変換の下でのゲイン破壊を大幅に低減する。
  論文  参考訳（メタデータ） (2026-09-16T09:21:33Z)
• Last Translation Benchmark [189.61382047977074]
  最後の翻訳ベンチマークは、主要な機械翻訳モデルを壊すサンプルの集合である。 それぞれの例には、具体的な障害ケースを記述した手作りの検証ルールが付属している。 最新バージョンは、2026年9月1日までに承認されたコントリビューションを含むTBv1である。
  論文  参考訳（メタデータ） (2026-09-03T17:54:45Z)
• Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization [51.93456979139756]
  自由文の説明は、ラベルの不一致を超えて人間のラベルのバリエーションを拡大する。 このようなアノテータ固有のラベル説明動作を,大規模言語モデルで学習し,再現できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-05-27T17:55:00Z)
• DocSync: Agentic Documentation Maintenance via Critic-Guided Reflexion [0.0]
  DocSyncは、ドキュメントのメンテナンスを構造的に基盤付けられた反復的な生成タスクとしてフレーム化するエージェントワークフローである。 LoRA適応小言語モデルを用いたDocSyncの資源制約実装を実証的に評価する。 このAST対応エージェントアプローチが標準エンコーダ・デコーダのベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-04T02:41:33Z)
• PoSh: Using Scene Graphs To Guide LLMs-as-a-Judge For Detailed Image Descriptions [55.95282725491425]
  PoShは、LLMs-as-a-Judgeをガイドするために、シーングラフを構造化ルーリックとして使用する詳細な画像記述のメトリクスである。 PoShはレプリカ可能で、解釈可能で、既存のメトリクスよりも人間のレーダのプロキシが優れている。 我々は,オープンウェイトな選択肢よりも,DOCENTにおける人間の判断とPoShの相関が強いことを示す。
  論文  参考訳（メタデータ） (2025-10-21T20:30:20Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。