論文の概要: Toward Collective-Centric Evaluation of Preference Inference for Participatory Democracy

• arxiv url: http://arxiv.org/abs/2609.02990v2
• Date: Thu, 10 Sep 2026 11:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 19:20:15.671849
• Title: Toward Collective-Centric Evaluation of Preference Inference for Participatory Democracy
• Title（参考訳）: 参加型民主主義の選好推論の集団的中心評価に向けて
• Abstract要約: 私たちは、90万以上の参加者、100万票、22の言語にまたがる4つのコンサルテーションという、その種の最大のデータセットをコントリビュートしています。 実験により, 予測精度に匹敵するモデルが, 集合構造を保存する程度で大きく異なることを示す。 この研究は、民主的な成果の完全性を損なうことなく、熟考をスケールするAIシステムの開発を支援することを目的としている。
• 参考スコア（独自算出の注目度）: 19.98446089883166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To scale up collective decision-making, participatory democracy platforms such as Polis and Remesh enable online deliberation among thousands of participants. However, at this scale, participants cannot review every opinion submitted by others, producing highly sparse voting data that misrepresent patterns of consensus, conflict, and minority support. Platforms therefore increasingly rely on Preference Inference (PI) models to predict missing votes. Yet this automation is not neutral: inferred preferences can artificially amplify, suppress, or reorder existing patterns of support, ultimately reshaping how the outcomes of a deliberation are interpreted. More generally, we lack a systematic understanding of how existing PI methods affect the collective preference landscape. To address this gap, we benchmark several existing PI approaches in this context. Moving beyond conventional user-centric evaluations centered on the accuracy of individual predictions, we introduce a collective-centric evaluation framework that measures whether inferred votes preserve salient properties of the broader preference landscape. We further contribute the largest multilingual dataset of its kind: four consultations spanning over 90k participants, 1M votes, and 22 languages. Our experiments show that models with comparable predictive accuracy can differ substantially in the degree to which they preserve the collective structure. These results demonstrate that accuracy alone is insufficient for evaluating PI in democratic settings. By contributing a novel comprehensive and collective-centric evaluation benchmark for the task of PI, this work aims to support the development of AI systems that scale deliberation without compromising the integrity of its democratic outcomes.
• Abstract（参考訳）: 集団意思決定を拡大するために、PolisやRemeshのような参加型民主主義プラットフォームは、何千人もの参加者によるオンライン協議を可能にしている。 しかし、この規模では、参加者は他人が提出したすべての意見を見直すことができず、コンセンサス、紛争、少数派支持のパターンを誤って表現する非常にまばらな投票データを生成する。 そのため、プラットフォームは、欠落した投票を予測するために、PI(Preference Inference)モデルに依存している。 しかし、この自動化は中立的ではありません。推論された選好は、既存のサポートパターンを人工的に増幅し、抑圧し、あるいは並べ替えることができます。 より一般的には、既存のPI手法が集団的嗜好の景観にどのように影響するかについての体系的な理解が欠如している。 このギャップに対処するため、我々はいくつかの既存のPIアプローチをこの文脈でベンチマークする。 個人予測の精度に着目した従来のユーザ中心評価を超えて、推定された投票がより広い嗜好景観の健全な性質を保っているかどうかを計測する集団中心評価フレームワークを導入する。 さらに、90万以上の参加者にまたがる4つのコンサルティング、100万票、22の言語など、多言語で最大のデータセットをコントリビュートしています。 実験により, 予測精度に匹敵するモデルが, 集合構造を保存する程度で大きく異なることを示す。 これらの結果から,民主的環境下でのPI評価に精度だけでは不十分であることが示唆された。 この研究は、PIのタスクに対する新しい包括的で集団中心的な評価ベンチマークを提供することによって、民主的成果の完全性を損なうことなく、熟考をスケールするAIシステムの開発を支援することを目的としている。

関連論文リスト

• To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
  異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。 比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。 最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
  論文  参考訳（メタデータ） (2026-06-23T13:53:50Z)
• Auditing the Auditors: Does Community-based Moderation Get It Right? [0.5833117322405447]
  我々は,Xのコミュニティノートにおけるコンセンサスに基づく監査の結果を分析した。 マイノリティ・コントリビュータの評価は多数派に傾き、彼らの参加比率は議論の的となっているトピックに該当する。 多数派との合意によってではなく,過去の残余の安定性によって貢献者を重み付けする2段階監査・集約アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-17T21:58:13Z)
• Algorithmic Approaches to Opinion Selection for Online Deliberation: A Comparative Study [1.5267938856942276]
  オンライン討論プラットフォームでは、アルゴリズムの選択が選択プロセスの自動化にますます利用されている。 それぞれのアプローチが、比例代表のような望ましい民主的基準にどのように影響するかは、まだ不明である。 本稿では,多様性とバランスの取れた表現概念の両方を選択戦略に取り入れた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-17T09:03:26Z)
• Democratic Preference Alignment via Sortition-Weighted RLHF [0.0]
  DemPOはアルゴリズムのソートを施したフレームワークで、市民アセンブリを構成するのと同じメカニズムを好みに基づく微調整に応用する。 我々はLlamaモデルを,各スキームで微調整された10億から80億のパラメータに評価した。 これらの結果は、選好収集段階における人口統計学的代表性を高めることは、ポストホック補正よりも、代表者から引き出された価値を反映した行動がより良く反映されるモデルが得られることを示している。
  論文  参考訳（メタデータ） (2026-02-04T22:59:24Z)
• Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs [13.630995219491972]
  本稿では,アライメントモデルの代表性を評価するためのフレームワークを提案する。 2つのモデルステアリング手法を比較し,評価手法の価値を示す。 私たちは、代表性は価値アライメントの別の側面である、と結論付けます。
  論文  参考訳（メタデータ） (2026-01-22T08:45:55Z)
• Snowveil: A Framework for Decentralised Preference Discovery [0.0]
  本稿では, 検閲抵抗, 部分情報, 非同期通信の制約の下で, 選挙人の集合意志を決定することの課題である分散選好発見(DPD)を紹介する。 我々は,この課題のための新しいフレームワークであるSnowveilを提案する。Snowveilは,有権者が投票者の小さなランダムなサブセットの選好を繰り返しサンプリングして,段階的に集合的な結果に収束させる,反復型ゴシップベースのプロトコルを使用する。 我々は,系が有限時間でほぼ確実に安定な単入賞者に収束することを示す多段階解析法を開発した。
  論文  参考訳（メタデータ） (2025-12-20T17:31:55Z)
• hyperFA*IR: A hypergeometric approach to fair rankings with finite candidate pool [0.0]
  本稿では,候補の有限集合から抽出したランキングの公平性を評価するためのフレームワークである hyperFA*IR を提案する。 これは超幾何分布に基づく生成プロセスに依存しており、固定されたグループサイズから置き換えることなくサンプリングによって実世界のシナリオをモデル化する。 また,計算コストのかかるパラメータチューニングを回避し,不正ランキングを効率的に検出するモンテカルロアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-17T09:45:08Z)
• Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework [7.065259679465175]
  評価対象者の嗜好の真の人口分布に比例して、集合的な意見や政策を整合できる新しい嗜好学習フレームワークを開発する。 本研究では,コンドルチェット受賞者の選抜と人口・地域間の整合性を円滑にトレードオフするソフトマックス緩和法を提案する。
  論文  参考訳（メタデータ） (2025-06-05T22:15:07Z)
• Re-evaluating Open-ended Evaluation of Large Language Models [50.23008729038318]
  現在のEloベースのレーティングシステムは、データ、意図的、あるいは偶発的なバイアスの影響を受けやすく、さらに強化できることを示している。 本稿では,3人プレイヤゲームとしての評価を提案し,冗長性に対するロバスト性を確保するために,ゲーム理論の新たな概念を導入する。
  論文  参考訳（メタデータ） (2025-02-27T15:07:47Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Aligning AI with Public Values: Deliberation and Decision-Making for Governing Multimodal LLMs in Political Video Analysis [48.14390493099495]
  AIモデルが政治的トピックにどう対処すべきかは議論されているが、依然として困難であり、より優れたガバナンスが必要である。 本稿では、政治的に敏感なビデオを中心に、個人的および集団的な議論を通じて、大規模言語モデルのガバナンスについて検討する。
  論文  参考訳（メタデータ） (2024-09-15T03:17:38Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。