論文の概要: Adjudicator: Correcting Noisy Labels with a KG-Informed Council of LLM Agents

• arxiv url: http://arxiv.org/abs/2512.13704v1
• Date: Fri, 05 Dec 2025 06:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-21 14:22:08.757552
• Title: Adjudicator: Correcting Noisy Labels with a KG-Informed Council of LLM Agents
• Title（参考訳）: 副官:KGインフォームド・カウンシル・オブ・LLMエージェントによるノイズラベルの修正
• Authors: Doohee You, Sundeep Paul,
• Abstract要約: ノイズラベルはパフォーマンスを低下させ ユーザの信頼を損なう 本稿では,ラベルノイズを自動的に識別・修正する重要なデータマイニング課題に対処するシステムであるAdjudicatorを提案する。 我々は、AlleNoiseベンチマークの1000桁のバランスの取れたサブセットでシステムを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of production machine learning systems is fundamentally limited by the quality of their training data. In high-stakes industrial applications, noisy labels can degrade performance and erode user trust. This paper presents Adjudicator, a system that addresses the critical data mining challenge of automatically identifying and correcting label noise and has been validated for production deployment. Adjudicator models this as a neuro-symbolic task, first constructing a dynamic Knowledge Graph (KG) to unify item context. This KG then informs a "Council of Agents," a novel multi-agent Large Language Model architecture where specialized agents debate and vote on a label's validity. We validate our system on a 1,000-item balanced subset of the AlleNoise benchmark. Our KG-informed model achieves a 0.99 F1-score, significantly outperforming a single-LLM baseline (0.48 F1) and a non-KG council (0.59 F1). Our analysis reveals this is due to a Precision, achieved by a novel override logic that uses the KG to perfectly identify complex, structural errors (complete Recall) -- a class of errors that baselines fail to find. This result demonstrates a robust and explainable system for automated, high-precision data verification, serving as a vital proof-of-concept for generating golden datasets in strictly governed industrial environments.
• Abstract（参考訳）: 生産型機械学習システムの性能は、そのトレーニングデータの品質によって根本的に制限されている。 高精細な産業アプリケーションでは、ノイズの多いラベルは性能を低下させ、ユーザの信頼を損なう。 本稿では,ラベルノイズを自動的に識別・修正する重要なデータマイニング問題に対処するシステムであるAdjudicatorについて述べる。 Adjudicatorはこれをニューロシンボリックなタスクとしてモデル化し、まず動的知識グラフ(KG)を構築し、アイテムコンテキストを統一する。 このKGは「エージェントのカウンシル(Council of Agents)」という新しいマルチエージェントの大規模言語モデルアーキテクチャを知らせる。 我々は、AlleNoiseベンチマークの1000桁のバランスの取れたサブセットでシステムを検証する。 我々のKGインフォームドモデルは0.99F1スコアを実現し、単一LLMベースライン(0.48F1)と非KGカウンシル(0.59F1)を大きく上回っている。 我々の分析によると、これは精度によるもので、KGを使用して複雑な構造的エラー(完全リコール)を完璧に識別する新しいオーバーライドロジックによって達成される。 この結果は、厳格に管理された産業環境で黄金のデータセットを生成するための重要な概念実証として機能する、自動化された高精度なデータ検証のための堅牢で説明可能なシステムを示している。

関連論文リスト

• Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
  知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。 広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。 我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。 本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
  論文  参考訳（メタデータ） (2025-05-29T14:44:52Z)
• The Achilles Heel of AI: Fundamentals of Risk-Aware Training Data for High-Consequence Models [0.0]
  高頻度ドメインのAIシステムは、厳密なリソース制約の下で運用しながら、稀で高インパクトなイベントを検出する必要がある。 ラベルのボリュームを情報的価値よりも優先する従来のアノテーション戦略は冗長性とノイズをもたらす。 本稿では、ラベルの多様性、モデル誘導選択、限界ユーティリティベースの停止を強調するトレーニングデータ戦略であるスマートサイズについて紹介する。
  論文  参考訳（メタデータ） (2025-05-20T22:57:35Z)
• Distill-SynthKG: Distilling Knowledge Graph Synthesis Workflow for Improved Coverage and Efficiency [59.6772484292295]
  大規模言語モデル(LLM)によって生成される知識グラフ(KG)は、検索・拡張生成(RAG)アプリケーションにとってますます価値が増している。 既存のKG抽出法は、大規模コーパスの処理に非効率なプロンプトベースのアプローチに依存している。 LLMに基づく多段階文書レベルのKGワークフローであるSynthKGを提案する。 我々はまた、RAGのための新しいグラフベースの検索フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-10-22T00:47:54Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。