論文の概要: Chinese Competitive Debating Dataset and Benchmark

• arxiv url: http://arxiv.org/abs/2609.21637v1
• Date: Fri, 18 Sep 2026 11:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.035154
• Title: Chinese Competitive Debating Dataset and Benchmark
• Title（参考訳）: 中国の競争的議論データセットとベンチマーク
• Abstract要約: 競合する中国語の議論に対する大規模言語モデルの理解を評価するためのデータセットとベンチマークを導入する。 データセットには148のマッチ、2,698のステージ、20,542の交換ユニットがあり、手動で検証された転写とセグメンテーションがある。 オリジナルステージスコア、マッチ投票、ベストデバタ投票、そして判断の合理性を維持している。
• 参考スコア（独自算出の注目度）: 19.36588713655341
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Debate adjudication requires tracking how arguments develop through interaction, yet existing datasets rarely combine fine-grained debate transcripts with professional judgments collected during real competitions under a shared rubric. We introduce a dataset and benchmark for evaluating large language models' understanding of competitive Chinese-language debate at the match, stage, and speaker levels. We organized 182 matches and recruited 120 professional judges, with each match independently adjudicated by three judges using a predefined rubric. After excluding matches with incomplete records, the dataset contains 148 matches, 2,698 stages, and 20,542 exchange units, with manually verified transcripts and segmentation. It preserves original stage scores, match votes, best-debater ballots, and adjudication rationales. We define three tasks: winner-tendency prediction, stage-score prediction, and best-debater prediction. Zero-shot evaluation of multiple large language models yields a highest winner-prediction accuracy of 66.2%, a highest Pearson correlation of 0.250 between model stage scores and mean human ratings, and a highest best-debater prediction accuracy of 56.8%. The dataset and benchmark provide a testbed for studying large language models' understanding of interactive argumentation and their agreement with professional judges.
• Abstract（参考訳）: 議論の偏見は、相互作用を通じて議論がどのように発展するかを追跡する必要があるが、既存のデータセットは、詳細な議論の書き起こしと、実際の競争中に共有ルーリックの下で収集された専門的な判断を組み合わせることは滅多にない。 我々は,大言語モデルによる,マッチ,ステージ,話者レベルでの競合する中国語の議論に対する理解を評価するためのデータセットとベンチマークを導入する。 我々は182試合を組織し、120人のプロの審査員を募集した。 不完全なレコードとのマッチを除外した後、データセットは148のマッチ、2,698のステージ、20,542の交換ユニットを含む。 オリジナルステージスコア、マッチ投票、ベストデバタ投票、そして判断の合理性を維持している。 我々は3つのタスクを定義している。勝者の信頼度予測、ステージスコア予測、ベストデバタ予測である。 複数言語モデルのゼロショット評価は66.2%、Pearsonのスコアは0.250、予測精度は56.8%である。 データセットとベンチマークは、対話的な議論に対する大きな言語モデルの理解と、専門家の裁判官との合意を研究するためのテストベッドを提供する。

関連論文リスト

• Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2 [0.0]
  数ショットのビジュアル推論ベンチマークであるARC-AGI-2の解法について述べる。 テキスト、画像、コードチャネルにまたがって、さまざまな候補を生成する。 自己整合性や多数決とは違って、モーダルな答えが間違っているタスクに関する正しいマイノリティな仮説を確実に復元する。
  論文  参考訳（メタデータ） (2026-06-30T11:55:33Z)
• Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty? [59.923111838399144]
  本稿では,視覚的審美性ベンチマーク (VAB) を提案する。 VABには400のタスクと1,195のイメージが芸術、写真、イラストに含まれており、ラベルはタスクごとに10人の独立した専門家審査員のコンセンサスから導かれる。 最強のシステムは、人間の専門家が達成した68.9%よりもはるかに低い26.5%のタスクで、候補順の3つのランダムな順で、最良の画像と最悪の画像の両方を正しく識別する。
  論文  参考訳（メタデータ） (2026-05-12T19:33:28Z)
• SLRTP2025 Sign Language Production Challenge: Methodology, Results, and Future Work [87.9341538630949]
  第1回手話生産チャレンジはCVPR 2025で第3回SLRTPワークショップの一環として開催された。 コンペティションの目的は、音声言語文からスケルトンポーズのシーケンスに変換するアーキテクチャを評価することである。 本稿では,挑戦設計と入賞方法について述べる。
  論文  参考訳（メタデータ） (2025-08-09T11:57:33Z)
• RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts [0.0]
  その任務は、ある文に対する意見を抽出することである。 意見は、感情保持者、その目標、表現と目標に対する感情から成り立っている。 テストセット上での最良の結果は、大きな言語モデルの微調整によって得られた。
  論文  参考訳（メタデータ） (2025-04-09T14:54:00Z)
• Monolingual and Cross-Lingual Knowledge Transfer for Topic Classification [0.0]
  このデータセットは、大規模なサンプル数(361,560シングルラベル、170,930マルチラベル)と広範なクラスカバレッジ(76クラス)を組み合わせる。 ロシアのMASSIVEサブセットの6つのマッチングクラスのトレーニングモデルであるRuQTopicsを評価することで、RuQTopicsデータセットが現実世界の会話タスクに適していることが証明された。
  論文  参考訳（メタデータ） (2023-06-13T14:19:45Z)
• KIT's Multilingual Speech Translation System for IWSLT 2023 [58.5152569458259]
  IWSLT 2023の多言語トラックに対する音声翻訳システムについて述べる。 このタスクは、様々な量のリソースを持つ10の言語に翻訳する必要がある。 我々のケースド音声システムは、科学的な話の翻訳において、エンドツーエンドの音声よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-06-08T16:13:20Z)
• RuArg-2022: Argument Mining Evaluation [69.87149207721035]
  本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。 新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。 両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
  論文  参考訳（メタデータ） (2022-06-18T17:13:37Z)
• Prediction of Listener Perception of Argumentative Speech in a Crowdsourced Data Using (Psycho-)Linguistic and Fluency Features [24.14001104126045]
  議論的発話のクラウドソースデータセットにおいてTEDトークスタイルの感情評価を予測することを目的としている。 本稿では,TEDトーク音声の大規模データセット上で事前学習したモデルを微調整することにより,これらのカテゴリを予測するための分類タスクに有効なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-13T15:07:13Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。