論文の概要: Validating Political Position Predictions of Arguments

• arxiv url: http://arxiv.org/abs/2602.18351v1
• Date: Fri, 20 Feb 2026 17:03:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.388607
• Title: Validating Political Position Predictions of Arguments
• Title（参考訳）: 論説の政治的位置予測の検証
• Authors: Jordan Robinson, Angus R. Williams, Katie Atkinson, Anthony G. Cohn,
• Abstract要約: 22言語モデルを用いて政治的位置予測の大規模知識基盤を構築した。 ポイントワイド評価は、本質的な主観性を反映した適度な人間モデル合意を示す。 ペアワイズ・バリデーションは、人間とモデル由来のランキングの間で、はるかに強力なアライメントを示す。
• 参考スコア（独自算出の注目度）: 3.3571381688392488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world knowledge representation often requires capturing subjective, continuous attributes -- such as political positions -- that conflict with pairwise validation, the widely accepted gold standard for human evaluation. We address this challenge through a dual-scale validation framework applied to political stance prediction in argumentative discourse, combining pointwise and pairwise human annotation. Using 22 language models, we construct a large-scale knowledge base of political position predictions for 23,228 arguments drawn from 30 debates that appeared on the UK politicial television programme \textit{Question Time}. Pointwise evaluation shows moderate human-model agreement (Krippendorff's $α=0.578$), reflecting intrinsic subjectivity, while pairwise validation reveals substantially stronger alignment between human- and model-derived rankings ($α=0.86$ for the best model). This work contributes: (i) a practical validation methodology for subjective continuous knowledge that balances scalability with reliability; (ii) a validated structured argumentation knowledge base enabling graph-based reasoning and retrieval-augmented generation in political domains; and (iii) evidence that ordinal structure can be extracted from pointwise language models predictions from inherently subjective real-world discourse, advancing knowledge representation capabilities for domains where traditional symbolic or categorical approaches are insufficient.
• Abstract（参考訳）: 実世界の知識表現は、政治的地位のような主観的で連続的な属性を捉える必要があることが多い。 本稿では、議論的言論における政治的姿勢予測に適用された2段階の検証フレームワークを通じてこの問題に対処し、ポイントワイドとペアワイドな人間のアノテーションを組み合わせる。 22の言語モデルを用いて、イギリスの政治テレビ番組『textit{Question Time}』に登場した30の討論から引き出された23,228の議論に対して、政治的位置予測の大規模知識ベースを構築した。 ポイントワイズ評価は、本質的な主観性を反映した適度な人間モデル合意(Krippendorff's $α=0.578$)を示す一方、ペアワイズ検証は、人間モデルとモデル由来のランキング(ベストモデルではα=0.86$)の間にかなり強い整合性を示す。 この作品には以下のものがある。 一 スケーラビリティと信頼性のバランスをとる主観的継続的知識の実践的検証方法 二 政治領域におけるグラフに基づく推論及び検索強化生成を可能にする検証済み構造化議論知識基盤 三 伝統的な記号的・カテゴリー的アプローチが不十分な領域において、本質的な主観的実世界談話から、点言語モデル予測から順序構造を抽出できるという証拠。

関連論文リスト

• Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP [25.097081181685613]
  アノテーションの不一致は、特に毒性の検出やスタンス分析のような主観的で曖昧なタスクに対して、NLPで広く見られる。 まず、データ、タスク、アノテータ要素にまたがる不一致の原因のドメインに依存しない分類を提示する。 次に,予測対象とプール構造によって定義された共通フレームワークを用いてモデリング手法を合成する。
  論文  参考訳（メタデータ） (2026-01-14T01:26:29Z)
• On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
  大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。 本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
  論文  参考訳（メタデータ） (2026-01-09T22:01:56Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Political Bias in LLMs: Unaligned Moral Values in Agent-centric Simulations [0.0]
  モーラル・ファンデーション理論アンケートにおいて,パーソナライズされた言語モデルと人間の反応がどのように一致しているかを検討する。 我々は、オープンソースの生成言語モデルを異なる政治的ペルソナに適応させ、これらのモデルを繰り返し調査し、合成データセットを生成する。 解析の結果,モデルが複数の繰り返しにまたがって不整合な結果をもたらし,高い応答差が生じることがわかった。
  論文  参考訳（メタデータ） (2024-08-21T08:20:41Z)
• Regularized Conventions: Equilibrium Computation as a Model of Pragmatic Reasoning [72.21876989058858]
  本稿では,信号ゲームの正規化平衡を探索することにより,発話を生成・理解する実用的な言語理解のモデルを提案する。 このモデルでは、話者とリスナーは文脈的に適切な発話を探索し、ゲーム理論の最適規則に近づき、共有された'デフォルト'セマンティクスに近い意味のマッピングを意味づける。
  論文  参考訳（メタデータ） (2023-11-16T09:42:36Z)
• A Unifying Framework for Learning Argumentation Semantics [47.84663434179473]
  Inductive Logic Programmingアプローチを用いて、抽象的および構造化された議論フレームワークのアクセシビリティセマンティクスを解釈可能な方法で学習する新しいフレームワークを提案する。 提案手法は既存の議論解法よりも優れており,フォーマルな議論や人間と機械の対話の領域において,新たな研究の方向性が開けることになる。
  論文  参考訳（メタデータ） (2023-10-18T20:18:05Z)
• Modeling Appropriate Language in Argumentation [34.90028129715041]
  議論において適切な言語を初めて運用する。 オンライン議論において不適切な言語を決定する14の次元の新しい分類法を導出する。
  論文  参考訳（メタデータ） (2023-05-24T09:17:05Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• On the Use of Linguistic Features for the Evaluation of Generative Dialogue Systems [17.749995931459136]
  言語的特徴に基づく指標は,人間の判断と良好な相関を維持し,解釈可能であることを示唆する。 この提案を支持するために,複数の対話モデルによって生成された対話のさまざまな言語的特徴を計測し,分析する。 特徴の振る舞いはテストされたモデルの既知の特性と一致し、ドメイン間で類似していることが分かりました。
  論文  参考訳（メタデータ） (2021-04-13T16:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。