論文の概要: The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel

• arxiv url: http://arxiv.org/abs/2606.23042v1
• Date: Mon, 22 Jun 2026 08:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 00:35:46.954055
• Title: The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel
• Title（参考訳）: 1つのラッターとしてのモデル:言語モデルパネルを用いたデータ分散領域における政治的位置の計測
• Abstract要約: パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。 私は、まだ欠落している人間のバリデーションを含め、このメソッドができないことを平気で考え、楽器とデータをフルにリリースします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most tools for measuring political positions, manifesto coding, expert surveys, text-scaling models, were built and validated on Western party systems, and outside that setting they work poorly, and often not at all. This paper is an attempt at a method for those settings. It treats a large language model not as a measurement device but as a single, fallible rater in a panel, roughly the way an expert survey treats one expert: the value comes from pooling many judges rather than trusting any one of them. I describe the panel, an applicability rule that keeps a score of zero distinct from a blank, and a lens system that separates what an actor says from what it does. I report three results. First, holding a definition-free round fixed, adding written axis definitions moves scores by a mean of 1.8 points on a 21-point scale and tightens agreement between raters (mean absolute gap 2.81 to 2.50; r 0.81 to 0.89); they make two independent raters agree more closely, which an arbitrary steer would not. Second, across nine models from eight laboratories in two countries, Krippendorff's alpha is 0.86 on both an interval and an ordinal metric, and it stayed put as the panel grew from five raters to nine. That is reliability, the reproducibility of a reading, and not validity, its correctness. Third, where the panel does disagree, the disagreement is informative: the sharpest split, a full-scale divergence on an actor's stance toward its state's foundational order, points to a referent problem, and a blind triple-coding puts about two-thirds of it down to interpretation rather than error. I try to be plain about what the method can't do, including the human validation it still lacks, and I release the instrument and data in full. The worked example is the Middle East and North Africa, but I'd expect the method to carry to any region these standard tools leave out.
• Abstract（参考訳）: 政治位置、マニフェストコーディング、専門家調査、テキストスケーリングモデルなど、ほとんどのツールが西欧の政党システム上で構築され、検証され、外部ではうまく機能せず、多くの場合全く機能しない。 本稿では,これらの設定のための手法を提案する。 これは、大きな言語モデルを測定装置としてではなく、パネル内の単一でフォールブルなレーダとして扱うもので、専門家の調査が1人の専門家を扱い、その価値は1人の専門家を信頼するのではなく、多くの裁判官をプールすることにある。 パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。 私は3つの結果を報告します。 まず、定義なしのラウンドを固定し、筆記軸の定義を加えると、21点のスケールで平均1.8ポイントのスコアを移動し、ラッカー間の合意(絶対ギャップ 2.81 から 2.50 まで、r 0.81 から 0.89 まで)を締め付ける。 第2に、2つの国の8つの研究所の9つのモデルのうち、クリッペンドルフのαは、間隔と順序の両方で0.86であり、パネルが5つのラッカーから9に成長するにつれて保たれた。 それは信頼性、読みの再現性、妥当性、正確性である。 第3に、パネルが意見の一致しない場合は、最も鋭い分裂、国家の基本秩序に対する俳優の姿勢の完全なばらつき、参照問題を指し、盲目な三重符号化は誤りよりも解釈の約3分の2を誤りに陥れる。 私は、まだ欠落している人間のバリデーションを含め、メソッドができないことについて平凡に考え、楽器とデータを完全にリリースします。 うまくいった例は中東と北アフリカですが、標準のツールが尽きるあらゆる地域にこの方法が適用できると思います。

関連論文リスト

• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards [0.0]
  評価ベンチマークはアノテータの採用によって構築され、それらのアノテータの同一性は実装の詳細として扱われる。 2,885件のMultiPrefアイテムには、両方のプールが全会一致で配置されているため、ネクタイ破りのコンベンションは一切ない。 しかし、両方のコーパスでは、結果のモデルリーダーボードはビット識別される: Kendall tau = 1.00 で、6つのモデルのうちゼロが置き換えられる。
  論文  参考訳（メタデータ） (2026-08-17T00:19:52Z)
• Split the Labor: Separating Evidence Interpretation from Decision Aggregation [0.0]
  言語モデルに多くの情報源から結論に達するよう要求するシステムは通常、それらを1つのプロンプトに分割する。 提案する4分野のエビデンス(仮説,信頼性バケット,合理性,証明)は,両半減期を決定することを示す。 この修正はアーキテクチャよりも算術的であり、言語モデル以外のルールのクラスに適用される。
  論文  参考訳（メタデータ） (2026-08-14T17:24:55Z)
• Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict? [1.8620637029128544]
  ベンチマークスコアは、自明なメソッドが何を達成し、最良のメソッドが何を達成できるかを知らなければ何の意味も持たない。 読者の群集が、それぞれの目的、無給、無命令、盲目などのために、120のWebドキュメントでマークされている文を予測します。
  論文  参考訳（メタデータ） (2026-08-03T05:09:49Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• Factions Within, Uncertain Across: Within-Document Reader Sub-Groups in Social Highlighting [1.8620637029128544]
  余剰保存曲線球ヌルを用いた共読プラットフォームにおけるグループレベルの質問を行う。 実験1では、読者が共有サリエンス、マーク密度、文章人気予測以上の強力なサブグループを形成することを示す。 実験2では、安定したリーダー特性をグループ化していますか?ここでは、パワーについて正直に述べます。
  論文  参考訳（メタデータ） (2026-06-10T03:25:36Z)
• Precision Is Not Faithfulness: Coverage-Aware Evaluation of Grounded Generation with a Complete Oracle [0.0]
  基準自由忠実度測定は、モデルが基底真理に対して行う各原子的クレームを検証する。 彼らが盲点を共有していることを示す:彼らは精度だけを計測し、主張されている主張は支持されているか? 戦略的基底真理が決定論的に導出される領域であるF1テレメトリを用いて、この測定を可能にする。
  論文  参考訳（メタデータ） (2026-06-08T11:56:25Z)
• Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
  LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。 私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
  論文  参考訳（メタデータ） (2026-05-28T11:48:17Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Interpreting Object-level Foundation Models via Visual Precision Search [54.575247537324344]
  より少ない領域で正確な属性マップを生成する視覚的精度探索法を提案する。 本研究では,DINO と Florence-2 の SOTA に対するオブジェクトレベルのタスク解釈可能性の向上を,様々な評価指標で示す。 提案手法は,複数の評価指標にまたがる既存の手法を超越して,視覚的接地や物体検出タスクにおける障害を解釈することができる。
  論文  参考訳（メタデータ） (2024-11-25T08:54:54Z)
• NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora [62.997667081978825]
  本稿では,イタリア語に対する教師なし語彙意味変化のシステムと知見について述べる。 その課題は、対象の単語が時間とともにその意味を進化させたかどうかを判断することであり、それは2つの時間固有のデータセットからの原文のみに依存する。 本研究では,各期間に対象単語を表す2つのモデルを提案し,しきい値と投票方式を用いて変化単語を予測する。
  論文  参考訳（メタデータ） (2020-11-07T11:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。