論文の概要: VARM-Bench: Benchmarking Verifiable Structured Reasoning in Chinese Abusive Speech Moderation

• arxiv url: http://arxiv.org/abs/2608.15600v1
• Date: Sun, 16 Aug 2026 07:52:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.359799
• Title: VARM-Bench: Benchmarking Verifiable Structured Reasoning in Chinese Abusive Speech Moderation
• Title（参考訳）: VARM-Bench:中国語虐待音声モデレーションにおける検証可能な構造推論のベンチマーク
• Abstract要約: VARM-Benchは、モデレーション決定の条件を決定論的に検証するためのベンチマークである。 本プロトコルは、フィールドの正確性、ターゲットアライメント、出力の妥当性、完全レコード契約、隠れレコードエラーを評価する。 その結果, ラベルレベルの高い性能は, 完全なモデレーションレコードにかなりの誤差を隠蔽する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 12.885908330308046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread circulation of abusive online content has increased the need for reliable moderation of Chinese social-media text. Existing Chinese benchmarks support label classification, fine-grained toxicity categorization, and target-aware extraction, but do not provide a unified representation for deterministically verifying the stated basis of a moderation decision. We introduce VARM-Bench, a benchmark for field-anchored chain-of-thought rationales in Chinese abusive-speech moderation. Each instance contains a concise natural-language rationale with explicit anchors for six decisions: target, target type, target explicitness, author stance, harmfulness label, and fine-grained category. Our deterministic protocol evaluates field correctness, target alignment, output validity, complete-record agreement, and hidden record errors conditioned on correct final decisions, without relying on an LLM judge. Under a common structured-output protocol, we evaluate language models across multiple model families using zero-shot prompting, taxonomy guidance, and structured CoT supervision, and analyze lexical-cue sensitivity and field-level errors. Results show that strong label-level performance can conceal substantial errors in complete moderation records. VARM-Bench provides an auditable and reproducible benchmark for evaluating verifiable moderation rationales in Chinese abusive-speech moderation.
• Abstract（参考訳）: 乱暴なオンラインコンテンツが広まると、中国のソーシャルメディアのテキストの信頼できるモデレーションの必要性が高まっている。 既存の中国のベンチマークは、ラベル分類、きめ細かい毒性分類、ターゲット認識抽出をサポートしているが、モデレーション決定の条件を確定的に検証するための統一表現を提供していない。 我々は,中国語の虐待・音声のモデレーションにおいて,フィールドアンコール連鎖論理のベンチマークであるVARM-Benchを紹介する。 各インスタンスは、ターゲット、ターゲットタイプ、ターゲット明示性、著者のスタンス、有害性ラベル、きめ細かいカテゴリの6つの決定に対して明確なアンカーを持つ簡潔な自然言語論理を含んでいる。 我々の決定論的プロトコルは、LLM審査員を頼らずに、フィールドの正当性、目標アライメント、出力の妥当性、完全レコード契約、および正しい最終決定に規定された隠れレコードエラーを評価する。 共通構造出力プロトコルでは,ゼロショットプロンプト,分類指導,構造化CoT監督を用いて,複数のモデルファミリにわたる言語モデルを評価し,語彙キューの感度とフィールドレベルの誤差を解析する。 その結果, ラベルレベルの高い性能は, 完全なモデレーションレコードに重大な誤りを隠蔽する可能性が示唆された。 VARM-Benchは、中国語の虐待・音声のモデレーションにおける検証可能なモデレーションの合理性を評価するための、監査可能で再現可能なベンチマークを提供する。

関連論文リスト

• Beyond Solver Verdicts: Generative Reward Models for Autoformalization [6.845799966508813]
  我々は、オフラインのZ3等価オラクルを参照不要で連続的な参照等価スコアに蒸留する生成検証(GenV)を導入する。 GenV は 0.961 AUROC を基準等価性検証で達成し、未知のトランスレータと分岐形式にまたがるゼロショットを一般化する。
  論文  参考訳（メタデータ） (2026-09-10T04:47:55Z)
• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• A Komi-Yazva--Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation [0.0]
  我々は,最初のコミヤズヴァ-ロシア並列コーパスを明示的な評価プロトコルとともに提示する。 データセットには、74の物語テキストから457の一致した文対が含まれている。 我々はこの設定を用いて、Komi-Yazva-to- Russian翻訳における近代的な大規模言語モデルの比較を行う。
  論文  参考訳（メタデータ） (2026-06-04T17:26:38Z)
• STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
  我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。 我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。 様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T11:04:31Z)
• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• xList-Hate: A Checklist-Based Framework for Interpretable and Generalizable Hate Speech Detection [2.647843453311735]
  我々は、ヘイトスピーチ検出を明示的な概念レベルの質問のチェックリストに分解する診断フレームワークであるxList-Hateを紹介する。 診断信号は軽量で完全に解釈可能な決定木で集約され、透明で監査可能な予測が得られる。 以上の結果から,モノリシックな分類問題ではなく,診断的理由づけタスクとしてヘイトスピーチの検出をリフレーミングすることが示唆された。
  論文  参考訳（メタデータ） (2026-02-05T16:51:56Z)
• VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension [51.76841625486355]
  Referring Expression (REC) は、自然言語クエリに対応する画像領域をローカライズすることを目的としている。 最近のニューロシンボリックRECアプローチは、大規模言語モデル(LLM)と視覚言語モデル(VLM)を利用して構成推論を行う。 推論ステップ内に軽量な演算子レベルの検証器を組み込む,ニューロシンボリックなフレームワークであるVIROを紹介する。
  論文  参考訳（メタデータ） (2026-01-19T07:21:19Z)
• BiasLab: A Multilingual, Dual-Framing Framework for Robust Measurement of Output-Level Bias in Large Language Models [3.643198597030366]
  本稿では,出力レベル(外部)バイアスの定量化を目的とした,オープンソースのモデルに依存しない評価フレームワークであるBiasLabを紹介する。 この枠組みは、人口統計学、文化学、政治学、地政学などの様々なバイアス軸の評価をサポートする。
  論文  参考訳（メタデータ） (2026-01-11T11:07:46Z)
• Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
  本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。 6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。 再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-08T09:49:05Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
  バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。 我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。 我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
  論文  参考訳（メタデータ） (2021-01-29T22:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。