論文の概要: The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel

• arxiv url: http://arxiv.org/abs/2606.23042v1
• Date: Mon, 22 Jun 2026 08:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 00:35:46.954055
• Title: The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel
• Title（参考訳）: 1つのラッターとしてのモデル:言語モデルパネルを用いたデータ分散領域における政治的位置の計測
• Authors: Tarek Gara,
• Abstract要約: パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。 私は、まだ欠落している人間のバリデーションを含め、このメソッドができないことを平気で考え、楽器とデータをフルにリリースします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most tools for measuring political positions, manifesto coding, expert surveys, text-scaling models, were built and validated on Western party systems, and outside that setting they work poorly, and often not at all. This paper is an attempt at a method for those settings. It treats a large language model not as a measurement device but as a single, fallible rater in a panel, roughly the way an expert survey treats one expert: the value comes from pooling many judges rather than trusting any one of them. I describe the panel, an applicability rule that keeps a score of zero distinct from a blank, and a lens system that separates what an actor says from what it does. I report three results. First, holding a definition-free round fixed, adding written axis definitions moves scores by a mean of 1.8 points on a 21-point scale and tightens agreement between raters (mean absolute gap 2.81 to 2.50; r 0.81 to 0.89); they make two independent raters agree more closely, which an arbitrary steer would not. Second, across nine models from eight laboratories in two countries, Krippendorff's alpha is 0.86 on both an interval and an ordinal metric, and it stayed put as the panel grew from five raters to nine. That is reliability, the reproducibility of a reading, and not validity, its correctness. Third, where the panel does disagree, the disagreement is informative: the sharpest split, a full-scale divergence on an actor's stance toward its state's foundational order, points to a referent problem, and a blind triple-coding puts about two-thirds of it down to interpretation rather than error. I try to be plain about what the method can't do, including the human validation it still lacks, and I release the instrument and data in full. The worked example is the Middle East and North Africa, but I'd expect the method to carry to any region these standard tools leave out.
• Abstract（参考訳）: 政治位置、マニフェストコーディング、専門家調査、テキストスケーリングモデルなど、ほとんどのツールが西欧の政党システム上で構築され、検証され、外部ではうまく機能せず、多くの場合全く機能しない。 本稿では,これらの設定のための手法を提案する。 これは、大きな言語モデルを測定装置としてではなく、パネル内の単一でフォールブルなレーダとして扱うもので、専門家の調査が1人の専門家を扱い、その価値は1人の専門家を信頼するのではなく、多くの裁判官をプールすることにある。 パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。 私は3つの結果を報告します。 まず、定義なしのラウンドを固定し、筆記軸の定義を加えると、21点のスケールで平均1.8ポイントのスコアを移動し、ラッカー間の合意(絶対ギャップ 2.81 から 2.50 まで、r 0.81 から 0.89 まで)を締め付ける。 第2に、2つの国の8つの研究所の9つのモデルのうち、クリッペンドルフのαは、間隔と順序の両方で0.86であり、パネルが5つのラッカーから9に成長するにつれて保たれた。 それは信頼性、読みの再現性、妥当性、正確性である。 第3に、パネルが意見の一致しない場合は、最も鋭い分裂、国家の基本秩序に対する俳優の姿勢の完全なばらつき、参照問題を指し、盲目な三重符号化は誤りよりも解釈の約3分の2を誤りに陥れる。 私は、まだ欠落している人間のバリデーションを含め、メソッドができないことについて平凡に考え、楽器とデータを完全にリリースします。 うまくいった例は中東と北アフリカですが、標準のツールが尽きるあらゆる地域にこの方法が適用できると思います。

関連論文リスト

• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• Factions Within, Uncertain Across: Within-Document Reader Sub-Groups in Social Highlighting [1.8620637029128544]
  余剰保存曲線球ヌルを用いた共読プラットフォームにおけるグループレベルの質問を行う。 実験1では、読者が共有サリエンス、マーク密度、文章人気予測以上の強力なサブグループを形成することを示す。 実験2では、安定したリーダー特性をグループ化していますか?ここでは、パワーについて正直に述べます。
  論文  参考訳（メタデータ） (2026-06-10T03:25:36Z)
• Precision Is Not Faithfulness: Coverage-Aware Evaluation of Grounded Generation with a Complete Oracle [0.0]
  基準自由忠実度測定は、モデルが基底真理に対して行う各原子的クレームを検証する。 彼らが盲点を共有していることを示す:彼らは精度だけを計測し、主張されている主張は支持されているか? 戦略的基底真理が決定論的に導出される領域であるF1テレメトリを用いて、この測定を可能にする。
  論文  参考訳（メタデータ） (2026-06-08T11:56:25Z)
• Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
  LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。 私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
  論文  参考訳（メタデータ） (2026-05-28T11:48:17Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Interpreting Object-level Foundation Models via Visual Precision Search [54.575247537324344]
  より少ない領域で正確な属性マップを生成する視覚的精度探索法を提案する。 本研究では,DINO と Florence-2 の SOTA に対するオブジェクトレベルのタスク解釈可能性の向上を,様々な評価指標で示す。 提案手法は,複数の評価指標にまたがる既存の手法を超越して,視覚的接地や物体検出タスクにおける障害を解釈することができる。
  論文  参考訳（メタデータ） (2024-11-25T08:54:54Z)
• NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora [62.997667081978825]
  本稿では,イタリア語に対する教師なし語彙意味変化のシステムと知見について述べる。 その課題は、対象の単語が時間とともにその意味を進化させたかどうかを判断することであり、それは2つの時間固有のデータセットからの原文のみに依存する。 本研究では,各期間に対象単語を表す2つのモデルを提案し,しきい値と投票方式を用いて変化単語を予測する。
  論文  参考訳（メタデータ） (2020-11-07T11:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。