Fugu-MT 論文翻訳(概要): Human-Anchored Factuality Evaluation with Strategic Annotation

論文の概要: Human-Anchored Factuality Evaluation with Strategic Annotation

arxiv url: http://arxiv.org/abs/2609.00494v1
Date: Mon, 31 Aug 2026 23:50:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-02 16:31:36.166933
Title: Human-Anchored Factuality Evaluation with Strategic Annotation
Title（参考訳）: ストラテジックアノテーションを用いたヒューマン・アンコレッド・ファクチュアリティ評価
Abstract要約: LLMに基づく事実性判断は、スケーラブルな評価信号を提供するが、その指標は人間の判断に対して体系的に偏っていることが多い。本研究では,限定的なアノテーション予算の下で人文認識の事実性評価について検討し,全データセット上の判断予測と,限定されたサンプルサブセット上の人文ラベルを組み合わせて統計的に有効な推定値を求める。当社のFSA誘導政策は,一様サンプリングや不確実性ベースラインよりもアノテーション効率を向上し,AutoFAでは40.3%,RAGTruthでは27.1%の有効サンプルサイズゲインを実現している。
参考スコア（独自算出の注目度）: 5.771467270404003
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: LLM-based factuality judges provide scalable evaluation signals, but their metrics are often systematically biased relative to human judgments. We study human-anchored factuality evaluation under limited annotation budgets, where judge predictions on the full dataset are combined with human labels on a small selectively sampled subset to obtain statistically valid estimates. The efficiency of this approach depends critically on which examples receive human annotation: in factuality evaluation, judge-human misalignment is not driven solely by low confidence, but also by structured failure modes such as incomplete evidence, temporal mismatch, unverifiable claims, and rubric misalignment. To exploit this structure, we introduce a factuality-specific annotation policy design pipeline that uses failure-space analysis (FSA) to derive diverse predictive signals for modeling human-judge misalignment. On an internal reference-based factuality evaluation system (AutoFA) and RAGTruth, where judge-predicted estimates substantially underestimate human-annotated factual accuracy, our FSA-guided policy improves annotation efficiency over uniform sampling and uncertainty-driven baselines, achieving effective-sample-size gains of 40.3% on AutoFA and 27.1% on RAGTruth.
Abstract（参考訳）: LLMに基づく事実性判断は、スケーラブルな評価信号を提供するが、その指標は人間の判断に対して体系的に偏っていることが多い。本研究では,限定的なアノテーション予算の下で人文認識の事実性評価について検討し,全データセット上の判断予測と,限定されたサンプルサブセット上の人文ラベルを組み合わせて統計的に有効な推定値を求める。事実性評価では、判断と人間のミスアライメントは、信頼性の低いだけでなく、不完全な証拠、時間的ミスマッチ、検証不能なクレーム、ルーリックなミスアライメントといった構造化された障害モードによっても引き起こされる。この構造を利用するために,FSA(Failure-space Analysis)を用いた実感特異的アノテーションポリシー設計パイプラインを導入し,人事ミスアライメントをモデル化するための多様な予測信号の導出を行う。内部参照型事実性評価システム(AutoFA)とRAGTruthでは,判断された推定値が人手による事実性精度を著しく過小評価しているため,FSA誘導型ポリシーは統一サンプリングや不確実性駆動ベースラインよりもアノテーション効率を向上し,AutoFAでは40.3%,RAGTruthでは27.1%の有効サンプルサイズゲインを実現している。

関連論文リスト

Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。 SUBJSIMの結果は,本手法の利点を示すものである。
論文参考訳（メタデータ） (2026-08-20T06:26:03Z)
Position: Evaluation Scores Are Perishable Knowledge Claims [0.0]
評価スコアは、形式性、スコープ、妥当性の3つの特性を持つクレームとして扱われるべきである。 HELMリーダーボードにおける平均アグリゲーションのコストについて説明する。
論文参考訳（メタデータ） (2026-07-28T18:50:39Z)
Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings [8.934085986179019]
共有価値は、説明可能なAIの基盤だが、競合する定式化への拡散は、断片化された風景を生み出している。 8つのShapley変種間のセマンティックな差異を分離するために、統一アモータイズされたフレームワークを使用します。空間性や忠実性などの標準的な定量的指標は、人間の知覚的明確性や決定性から切り離されている。
論文参考訳（メタデータ） (2026-04-24T15:38:44Z)
Quantifying and Mitigating Self-Preference Bias of LLM Judges [5.017055831476582]
自己選好バイアス(英: Self-Preference Bias、SPB)は、LSMが評価中に生成した出力を体系的に好まない、または好ましくない方向性評価偏差である。既存の測定は、コストのかかる人的アノテーションと、評価的なスタンスによる生成能力に頼っているため、現実のシステムにおける大規模展開には実用的ではない。本研究では,SPBの定量化と緩和のための完全自動化フレームワークを提案する。
論文参考訳（メタデータ） (2026-04-24T09:46:22Z)
Doubly-Robust LLM-as-a-Judge: Externally Valid Estimation with Imperfect Personas [31.16720541398267]
本稿では,評価サンプリングバイアスに対処するために,2倍のロバスト推定フレームワークを提案する。このアプローチの鍵となるのは、評価者が人間のレーダとして振る舞うように促すことによって生成される「ペルソナ」格付けを使用することです。提案手法は,aとaとaとaとaとaとaとaとaとaとaとaとaとaとaとaとaとaとaとととa
論文参考訳（メタデータ） (2025-09-26T21:42:51Z)
Understanding challenges to the interpretation of disaggregated evaluations of algorithmic fairness [49.35494016290887]
関係する人口を表わすが、実世界の格差を反映するデータである場合、サブグループ間での平等なパフォーマンスは、信頼できない公平さの尺度であることを示す。本フレームワークでは, 因果関係の明示的な仮定と分析を相補して, 相反や分布変化の制御を提案する。
論文参考訳（メタデータ） (2025-06-04T17:40:31Z)
Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文参考訳（メタデータ） (2024-08-07T17:14:58Z)
Counterfactual-Augmented Importance Sampling for Semi-Offline Policy Evaluation [13.325600043256552]
そこで本研究では,ヒトが観測不能な反事実軌道のアノテーションを提供する半オフライン評価フレームワークを提案する。提案手法は,アノテーション・ソリケーションの原則に基づく設計と組み合わせることで,高次の領域における強化学習の活用を可能にする。
論文参考訳（メタデータ） (2023-10-26T04:41:19Z)
Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文参考訳（メタデータ） (2023-03-11T11:42:26Z)
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文参考訳（メタデータ） (2022-12-15T17:26:05Z)
Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。