論文の概要: PLURAL: A Global Dataset for Value Alignment
- arxiv url: http://arxiv.org/abs/2607.08034v1
- Date: Thu, 09 Jul 2026 01:18:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.386622
- Title: PLURAL: A Global Dataset for Value Alignment
- Title(参考訳): PLURAL: バリューアライメントのためのグローバルデータセット
- Authors: Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha,
- Abstract要約: 大規模な言語モデル (LLM) は世界中で使われているが、西洋の価値観を不均等に反映し、多様な価値システムを表現する能力を制限する。
92カ国にまたがる全国的な調査であるIntegrated Values Survey (IVS)において,大規模で価値を重視した嗜好データセットであるPLURALを紹介した。
本研究では, 2段階生成パイプラインを用いて, 現実的なシナリオを生成しながら, 基準値信号を保存するために, サーベイ応答を合成選好三重項に変換する。
- 参考スコア(独自算出の注目度): 22.242529854078708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are used worldwide, yet disproportionately reflect Western values, limiting their ability to represent diverse value systems. We introduce PLURAL, a large-scale, value-focused preference dataset grounded in the Integrated Values Survey (IVS), a nationally representative survey spanning 92 countries. Using a two-stage generation pipeline, we transform survey responses into synthetic preference triplets that preserve normative value signals while producing realistic scenarios. We release an initial version of PLURAL containing ~500,000 preference triplets representing people in 20 diverse countries. We evaluate PLURAL in three ways: (i) dataset-level validation showing that it preserves both cross-country value differences and within-country diversity from the original survey; (ii) automated evaluation showing that training on PLURAL improves alignment with target countries' cultural profiles, reducing mean absolute error by up to 27.7% relative to strong baselines; and (iii) blind human evaluation with 176 evaluators in India, Brazil, and Japan, who judge PLURAL-aligned responses as more representative of their national values. Together, these results show that PLURAL contains learnable signal for value steering, offering a scalable resource for pluralistic alignment. Dataset: https://huggingface.co/datasets/agdhruv/plural-alignment
- Abstract(参考訳): 大規模な言語モデル (LLM) は世界中で使われているが、西洋の価値観を不均等に反映し、多様な価値システムを表現する能力を制限する。
92カ国にまたがる全国的な調査である統合価値調査(IVS)に基づいて,大規模で価値を重視した嗜好データセットであるPLURALを紹介した。
本研究では, 2段階生成パイプラインを用いて, 現実的なシナリオを生成しながら, 基準値信号を保存するために, サーベイ応答を合成選好三重項に変換する。
PLURALの初期バージョンには、20カ国の人々に代表されるおよそ50,000の選好三つ子が含まれている。
PLURAL の評価には3つの方法がある。
一 原調査による国間価値差及び国内多様性の両立を図ったデータセットレベルの検証
2)PLURALのトレーニングが目標国の文化的特徴との整合性を向上し、平均絶対誤差が強い基準線に対して最大27.7%減少することを示す自動評価。
三 インド、ブラジル、日本における176人の評価者による盲人評価。
これらの結果から,PLURALには値ステアリングのための学習可能な信号が含まれており,多元的アライメントのためのスケーラブルなリソースが提供されることがわかった。
データセット:https://huggingface.co/datasets/agdhruv/pleural-alignment
関連論文リスト
- Improving Cross-Cultural Survey Simulation with Calibrated Value Personas [2.5964189305343712]
大規模言語モデル(LLM)は、人間の意見や調査回答をシミュレートするためにますます使われているが、文化全体にわたって人口反応を再現する能力は限られている。
本稿では,中核的な文化的側面を捉えた調査結果からテキスト記述子を導出する価値に基づくペルソナ構築手法を提案する。
提案手法は, 人口密度の低い国において, 予測誤差を低減し, 最大の改善点を示す。
論文 参考訳(メタデータ) (2026-05-15T17:10:50Z) - DVMap: Fine-Grained Pluralistic Value Alignment via High-Consensus Demographic-Value Mapping [49.402442592047855]
現在のLarge Language Models (LLMs) は通常、多元的値アライメントのために粗い粒度の国家ラベルに依存している。
この制限を解消するには、国家ラベルから多次元の人口統計制約に移行する必要があると我々は主張する。
DVMap(DVMap)は,微細な多元値アライメントのためのフレームワークである。
論文 参考訳(メタデータ) (2026-05-14T06:06:43Z) - Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。
モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
論文 参考訳(メタデータ) (2026-04-14T15:06:13Z) - Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook [50.10594064510559]
DOVEは、人文テキストとLLM出力を直接比較する分散評価フレームワークである。
DOVEは, ダウンストリームタスクと31.56%の相関を達成し, 高い信頼性を保ちながら, 文化ごとのサンプル500点程度の信頼性を維持した。
論文 参考訳(メタデータ) (2026-03-16T08:33:10Z) - Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。
対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
論文 参考訳(メタデータ) (2026-03-03T03:34:06Z) - EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models [1.141545154221656]
EvalMORAALは20の大規模言語モデルにおいてモラルアライメントを評価する透過的なチェーン・オブ・シントフレームワークである。
世界価値調査(55か国、19か国)とPEWグローバル姿勢調査(39か国、8か国)のモデルを評価する。
論文 参考訳(メタデータ) (2025-10-07T13:52:16Z) - PERSONA: A Reproducible Testbed for Pluralistic Alignment [46.750587209286344]
言語モデルの多元的アライメントの評価と改善を目的としたテストベッドであるPERSONAを紹介する。
我々は,米国国勢調査データから多様なユーザプロファイルを手続き的に生成し,その結果,1,586人の合成ペルソナが得られた。
次に,3,868のプロンプトと317,200のフィードバックペアを含む大規模評価データセットを生成する。
論文 参考訳(メタデータ) (2024-07-24T16:11:39Z) - The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models [67.38144169029617]
我々は,75か国から1500人の多様な参加者の社会デマトグラフィーを,21大言語モデル(LLM)を用いた8,011のライブ会話において,文脈的嗜好ときめ細かいフィードバックにマッピングした。
PRISMでは、(i)より広い地理的・人口的なフィードバックへの参加、(ii)2つの国(UK, US)の国勢調査表現型サンプル、(iii)詳細な参加者プロファイルにリンクし、個人化とサンプルアーティファクトの帰属を許可する個別評価に寄与する。
我々はPRISMを3つのケーススタディで使用し、人間がどのアライメントデータを提供するかを慎重に検討する必要があることを示す。
論文 参考訳(メタデータ) (2024-04-24T17:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。