Fugu-MT 論文翻訳(概要): Evaluating Criterion-Conditioned Behaviour of Large Language Models in Content Moderation

論文の概要: Evaluating Criterion-Conditioned Behaviour of Large Language Models in Content Moderation

arxiv url: http://arxiv.org/abs/2609.03814v1
Date: Thu, 03 Sep 2026 13:17:38 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-04 18:28:39.08421
Title: Evaluating Criterion-Conditioned Behaviour of Large Language Models in Content Moderation
Title（参考訳）: コンテンツモデレーションにおける大規模言語モデルの基準付き行動の評価
Abstract要約: 本研究では,大規模言語モデル (LLM) が条件付き行動を示すか否かを検討する。強いベンチマークパフォーマンスは、基準レベルではかなりの失敗を隠す可能性がある。これらの知見は、基準条件付き行動を明示的に測定する評価方法の開発を促すものである。
参考スコア（独自算出の注目度）: 1.3629559589878444
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) demonstrate strong performance on standard content moderation benchmarks. However, these benchmarks often aggregate multiple moderation criteria into a single label, making it unclear whether models can disentangle them and reliably apply each criterion when making decisions. To study whether LLMs exhibit criterion-conditioned behaviour, we introduce Diagnostic Evaluation of COntent (DECO), a criterion-independent factorisation of content that enables controlled, criterion-level evaluation. We also introduce pairwise evaluation to compare model outputs across different criteria for the same input. Across four moderation datasets and four LLMs, we find that strong benchmark performance can hide substantial failures at the criterion level. Models struggle most when correct decisions depend not on overall harmfulness, but on the specific aspect of the content that the criterion requires them to assess. Our results highlight a key limitation of current content moderation benchmarks: strong performance on aggregated labels does not provide sufficient evidence that LLMs can reliably evaluate content with respect to individual moderation criteria. These findings call for the development of evaluation methods that explicitly measure criterion-conditioned behaviour.
Abstract（参考訳）: LLM(Large Language Model)は、標準コンテンツモデレーションベンチマークにおいて強力な性能を示す。しかしながら、これらのベンチマークは、複数のモデレーション基準を単一のラベルに集約することが多く、モデルがそれらを分解し、決定を下す際に各基準を確実に適用できるかどうかは不明である。 LLMが基準条件付き行動を示すかどうかを調べるため、制御された基準レベルの評価を可能にするコンテンツの基準非依存な要因化であるDeCO(Message Evaluation of Content)を導入する。また、同じ入力に対して異なる基準でモデル出力を比較するために、ペアワイズ評価を導入する。 4つのモデレーションデータセットと4つのLLMの合計で、強いベンチマーク性能は、基準レベルではかなりの失敗を隠す可能性がある。正しい決定が全体的な有害性ではなく、基準が評価する必要がある内容の特定の側面に依存している場合、モデルは最も苦労する。集約されたラベルの強い性能は、LLMが個別のモデレーション基準に対して確実にコンテンツを評価できるという十分な証拠を与えていない。これらの知見は、基準条件付き行動を明示的に測定する評価方法の開発を促すものである。

関連論文リスト

Benchmarking the Benchmarks: Evaluating Benchmarks for Conversational Agents [3.6300043516541263]
粗末なベンチマークには、一貫性のないタスク、単純化されたシナリオ、あるいは限られたポリシーカバレッジが含まれます。ベンチマークの一貫性,複雑性,ポリシのカバレッジを評価するために,LCM判断を用いた参照フリーフレームワークを導入する。本フレームワークは,合成および手作業による対話エージェントベンチマークを評価するための実践的アプローチを提供する。
論文参考訳（メタデータ） (2026-08-06T17:39:21Z)
Benchmarks Are Not Monolithic: Sample-Level Auditing and Orchestration for LLM Evaluation [0.42970700836450487]
我々は,5つの潜在次元に沿って,サンプルレベルでベンチマークデータセットを監査するデータセット中心のメタ評価フレームワークを導入する。これらのアノテーションが、データセット間で複合ベンチマークサブセットのクレーター駆動オーケストレーションを可能にする方法を示す。
論文参考訳（メタデータ） (2026-07-30T19:51:55Z)
Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models [2.2633326936241196]
ビジョン言語モデルは、テキスト内学習(ICL)を通じてパラメータ更新なしで新しいタスクを実行できる現実世界のアプリケーションでは、多くのタスクは安定したハイレベルな意図を示し、その決定基準は特定の要求に応じて変化する。提案手法では,モデルが文脈から潜在的基準を推論しなくてはならない,CC-ICL(Criterion-Conditional In-Context Learning)と呼ばれる新しい設定を導入する。
論文参考訳（メタデータ） (2026-06-30T17:22:20Z)
CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
論文参考訳（メタデータ） (2026-05-19T10:59:19Z)
Evaluating Ill-Defined Tasks in Large Language Models [4.241892359077409]
評価ベンチマークとメトリクスが不確定なタスクに対して、モデル能力の信頼性や診断信号を提供できない理由を分析する。評価基準を多面的に評価することで,集計スコアを超える実用的な洞察が得られることを示す。
論文参考訳（メタデータ） (2026-03-17T18:52:47Z)
IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文参考訳（メタデータ） (2026-03-05T02:21:17Z)
Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文参考訳（メタデータ） (2026-01-07T14:59:03Z)
KOFFVQA: An Objectively Evaluated Free-form VQA Benchmark for Large Vision-Language Models in the Korean Language [2.594684920405059]
韓国語における汎用的自由形視覚質問応答ベンチマークKOFFVQAを提案する。私たちのベンチマークでは、画像とグレーティングの基準を合わせた275の質問を慎重に作成しています。我々は,既存の評価基準を既存の手法よりもはるかに信頼性の高い評価基準として用いる手法を実験的に検証した。
論文参考訳（メタデータ） (2025-03-31T05:04:25Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
HD-Eval: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition [92.17397504834825]
HD-Evalは、大規模な言語モデル評価ツールと人間の好みを反復的に調整するフレームワークである。 HD-Evalは、人間の専門家の評価思想から本質を継承し、LLMに基づく評価器のアライメントを強化する。 3つの評価領域に関する広範囲な実験は、HD-Evalのさらなる整合状態評価器の優位性を実証している。
論文参考訳（メタデータ） (2024-02-24T08:01:32Z)
Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。我々はLSMに答えを自己評価するように指示する。自己評価に基づくスコアリング手法をベンチマークする。
論文参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。