論文の概要: From DQI to C-DQI: Automatic Codebook Generation and Evaluation for Measuring Computational Discourse Quality Index

• arxiv url: http://arxiv.org/abs/2610.27937v1
• Date: Tue, 20 Oct 2026 09:45:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.752862
• Title: From DQI to C-DQI: Automatic Codebook Generation and Evaluation for Measuring Computational Discourse Quality Index
• Title（参考訳）: DQIからC-DQI:計算談話品質指標の自動生成と評価
• Abstract要約: 本稿では,Large Language Models(LLM)に基づくコードブック生成と評価のための完全なプロトコルを提案する。 私たちは、コンテキスト適応スキーマを生成するためのトップダウン(理論ベース)、ボトムアップ(データ駆動)、ハイブリッドアプローチを比較します。 イスラエル議会の100件の実験は、インダクティブでデータ駆動型スキーマがトップダウン方式よりも高いIMAを実現していることを示している。
• 参考スコア（独自算出の注目度）: 11.415451298687548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective democratic deliberation is vital for civic engagement and the health of legislative institutions. However, assessing parliamentary discourse quality is traditionally done using expert-scored, theory-based codebooks (CBs), which are rigid, labor-intensive, and prone to biases. While Large Language Models (LLMs) offer a scalable alternative for both schema induction and discourse annotation, ensuring schema quality and mitigating models' inherent bias remains a clear challenge. In this work, we propose a complete protocol for LLM-based codebook generation and evaluation. Starting from the widely accepted discourse quality Index (DQI), we compare top-down (theory-based), bottom-up (data-driven), and hybrid approaches for generating context-adapted schemas. To evaluate these schemas, we define an extrinsic proxy measure, validated by manual annotations, alongside an intrinsic inter-model agreement (IMA) metric, which leverages differing model biases to signal overall reliability. Our experiments on 100 Israeli parliament transcripts reveal that inductive, data-driven schemas achieve higher IMA than top-down methods while maintaining validity, demonstrating their potential for reliable, large-scale analysis of political discourse.
• Abstract（参考訳）: 効果的な民主的審議は、市民の関与と立法機関の健康にとって不可欠である。 しかしながら、議会の談話の質の評価は伝統的に、厳格で労働集約的でバイアスのやすい専門家による理論ベースのコードブック(CBs)を用いて行われる。 大規模言語モデル(LLM)はスキーマインジェクションと談話アノテーションの両方にスケーラブルな代替手段を提供するが、スキーマの品質を確保し、モデル固有のバイアスを軽減することは、依然として明らかな課題である。 本研究では,LLMに基づくコードブック生成と評価のための完全なプロトコルを提案する。 広く受け入れられている談話品質指標(DQI)から始めて、トップダウン(理論ベース)、ボトムアップ(データ駆動)、コンテキスト適応スキーマを生成するハイブリッドアプローチを比較します。 これらのスキーマを評価するために、手動のアノテーションによって検証された外部プロキシ尺度と、異なるモデルのバイアスを利用して全体的な信頼性を示す内在的モデル間合意(IMA)メトリクスを定義する。 イスラエル議会本文100件の実験から, インダクティブなデータ駆動型スキーマは, 信頼性を維持しつつも, トップダウン方式よりも高いIMAを実現し, 政治的言論の信頼性, 大規模分析の可能性を示した。

関連論文リスト

• ProMediConv: Benchmarking Proactive Conversational Agents in Legal Dispute Mediation [65.39532118490511]
  ProMediConvは、メディエーションをプロアクティブ、マルチステージ、パーティ対応の対話プロセスとしてモデル化する新しいベンチマークフレームワークである。 972個の実世界のケースを用いて,戦略およびBP状態の発話レベルアノテーションを用いた高忠実度調停データセットを構築した。 また、対話を通してBPシフトを捉えるための詳細な計量であるMAD(Mean Attribute difference)を提案する。
  論文  参考訳（メタデータ） (2026-09-10T05:26:40Z)
• Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays [15.895792302323883]
  教育の文脈では、教師と学習者は解釈可能な特性レベルのフィードバックを必要とする。 本稿では,2つの相補的モデリングパラダイムを用いた特徴量に基づく自動弁別評価手法について検討する。 スコア・オーディナリティを明示的にモデル化することは、人間のレーダとの合意を著しく改善することを示します。
  論文  参考訳（メタデータ） (2026-02-04T14:30:52Z)
• DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era of Large Language Models [39.493913608472404]
  大規模言語モデル(LLM)に基づく文法的誤り訂正(GEC)モデルは、提供された金の参照から分岐する修正を生成することが多い。 この不一致は、従来の基準ベースの評価指標の信頼性を損なう。 本稿では,GECモデル,DSGram,Semantic Coherence,Edit Level,Fluencyを統合し,動的重み付け機構を活用する新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-17T11:54:16Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation [20.178644251662316]
  本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。 このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。 それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
  論文  参考訳（メタデータ） (2024-02-14T18:41:19Z)
• PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
  ProxyQAは、長文生成を評価するための革新的なフレームワークである。 さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。 プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
  論文  参考訳（メタデータ） (2024-01-26T18:12:25Z)
• Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
  本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。 SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
  論文  参考訳（メタデータ） (2023-08-08T16:41:16Z)
• TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
  TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。 我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。 さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2022-04-11T10:14:35Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。