Fugu-MT 論文翻訳(概要): Can LLM Annotators Match Human Consistency? Benchmarking Human Agreement and Optimizing Multi-Agent with Contrastive Knowledge

論文の概要: Can LLM Annotators Match Human Consistency? Benchmarking Human Agreement and Optimizing Multi-Agent with Contrastive Knowledge

arxiv url: http://arxiv.org/abs/2610.32415v1
Date: Fri, 23 Oct 2026 09:43:38 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 01:38:06.450093
Title: Can LLM Annotators Match Human Consistency? Benchmarking Human Agreement and Optimizing Multi-Agent with Contrastive Knowledge
Title（参考訳）: LLMアノテータは人間の一貫性にマッチできるか?
Abstract要約: ANT-A Benchmarkは、ドメインとモダリティにまたがる7つのデータセットにまたがる現実世界のマルチアノテーションベンチマークである。 ANT-ORは、正と負のフィードバックから対照的な決定ルールを抽出することによってプロンプトを洗練するマルチエージェントアノテーションフレームワークである。
参考スコア（独自算出の注目度）: 37.729301913644825
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLM-based annotation has advanced rapidly, yet existing benchmarks remain misaligned with real-world practice. Actual annotation often involves lengthy, task-specific guidelines, and different annotators may produce divergent but reasonable judgments, especially on boundary cases, where single-labeled dataset fail to reflect this disagreement. This gap also limits existing single-agent and workflow-based annotation systems, which often lack adaptability to complex, evolving guidelines. To bridge this gap, we introduce ANT-A Benchmark, a real-world multi-annotator benchmark spanning 7 datasets across domains and modalities, with task-specific guidelines and 5 independent human labels per instance. ANT-A enables a distribution-aware evaluation, using Fleiss kappa to assess how closely model annotations align with human labeling distributions. We further propose ANT-OR, a multi-agent annotation framework that refines prompts by distilling contrastive decision rules from positive and negative feedback. Experiments show that ANT-OR improves agreement@>=2 accuracy by 4.5 points over the strongest baseline and achieves the highest alignment with human annotator distributions as measured by Fleiss kappa within 2 points. Code and benchmark are available at https://github.com/Krueske/ANT-OR.
Abstract（参考訳）: LLMベースのアノテーションは急速に進歩しているが、既存のベンチマークは現実のプラクティスと相容れないままである。実際のアノテーションは、長いタスク固有のガイドラインを伴い、異なるアノテーションは異なるが合理的な判断を、特に単一ラベルのデータセットがこの不一致を反映しない境界のケースで生み出す。このギャップは既存の単一エージェントとワークフローベースのアノテーションシステムにも制限があり、複雑で進化するガイドラインへの適応性に欠けることが多い。このギャップを埋めるために,ドメインとモダリティにまたがる7つのデータセットにまたがる実世界のマルチアノテーションベンチマークであるANT-A Benchmarkを紹介した。 ANT-Aでは、Fleiss kappaを使用して、アノテーションが人間のラベル付け分布とどの程度密に一致しているかを評価する。さらに, 相対的決定規則を正と負のフィードバックから抽出することにより, プロンプトを洗練させるマルチエージェントアノテーションフレームワークANT-ORを提案する。実験の結果,ANT-ORはアノテータ分布とアノテータ分布とのアライメントをFleiss kappaが2点以内で達成し,アノテータの精度を4.5ポイント向上することがわかった。コードとベンチマークはhttps://github.com/Krueske/ANT-OR.orgで公開されている。

関連論文リスト

Get a GRIP, this will be a long TRIP: A Quantifiable Long-Range Framework for Verifying Over-squashing [29.875227793409064]
デファクト標準であるLong Range Graph Benchmarkは、チューニングされた短距離モデルによって飽和することが繰り返し示されている。任意のグラフに長距離性の原則付き証明がない。予測可能性,太さ,厳密な$k$-Range,トポロジー不変性の4つの公理を導入する。
論文参考訳（メタデータ） (2026-10-02T16:37:19Z)
Long-Horizon Agent Trajectory Attribution: A Unified Benchmark and Fine-Grained Annotation Framework [14.027298257408821]
大言語モデル(LLM)エージェントは、ユーザ命令、ツール使用、外部観測、メモリを含む長い水平軌道を介して動作する。トラジェクトリ属性を導入し、このタスクのためのベンチマークおよびアノテーションフレームワークを開発する。
論文参考訳（メタデータ） (2026-08-07T07:43:12Z)
Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization [51.93456979139756]
自由文の説明は、ラベルの不一致を超えて人間のラベルのバリエーションを拡大する。このようなアノテータ固有のラベル説明動作を,大規模言語モデルで学習し,再現できるかどうかを検討する。
論文参考訳（メタデータ） (2026-05-27T17:55:00Z)
AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild [30.138230316314534]
本稿では,一方向の指示から双方向の意図のアライメントへ評価をシフトするために,指示明細の分類を取り入れた最初のベンチマークであるAmbiBenchを紹介する。厳密なレビュープロトコルの下で,25のアプリケーションにまたがる240の生態学的に有効なタスクの厳密なデータセットを構築した。また,MLLM-as-a-judgeマルチエージェントアーキテクチャを利用した自動フレームワークであるMUSEを開発した。
論文参考訳（メタデータ） (2026-02-12T09:25:15Z)
Codebook-Injected Dialogue Segmentation for Multi-Utterance Constructs Annotation: LLM-Assisted and Gold-Label-Free Evaluation [0.17240671897505613]
対話法(DA)のアノテーションは、コミュニケーションや教育の意図を、個々の発話や旋回に局所化したものとして扱う。本稿では,下流の基準値に基づいて境界決定を行うコードブック注入セグメンテーションを提案する。 DA認識はテキストのみのベースラインよりも内部的に一貫性のあるセグメントを生成する。
論文参考訳（メタデータ） (2026-01-17T14:17:13Z)
CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文参考訳（メタデータ） (2025-08-05T17:55:24Z)
UniTTA: Unified Benchmark and Versatile Framework Towards Realistic Test-Time Adaptation [66.05528698010697]
Test-Time Adaptationは、テスト中にトレーニング済みのモデルを対象のドメインに適応させることを目的としている。研究者は様々な挑戦シナリオを特定し、これらの課題に対処するための様々な方法を開発した。本稿では,包括的かつ広く適用可能な統一テスト時間適応ベンチマークを提案する。
論文参考訳（メタデータ） (2024-07-29T15:04:53Z)
A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文参考訳（メタデータ） (2022-03-10T08:58:18Z)
Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive Person Re-Identification [54.174146346387204]
ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
論文参考訳（メタデータ） (2021-12-28T07:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。