論文の概要: Cultivating Pluralism In Algorithmic Monoculture: The Community Alignment Dataset
- arxiv url: http://arxiv.org/abs/2507.09650v1
- Date: Sun, 13 Jul 2025 14:34:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:23.670363
- Title: Cultivating Pluralism In Algorithmic Monoculture: The Community Alignment Dataset
- Title（参考訳）: アルゴリズムモノカルチャーにおける多元主義の育成:コミュニティアライメントデータセット
- Authors: Lily Hong Zhang, Smitha Milli, Karen Jusko, Jonathan Smith, Brandon Amos, Wassim, Bouaziz, Manon Revel, Jack Kussman, Lisa Titus, Bhaktipriya Radharapu, Jane Yu, Vidya Sarma, Kris Rose, Maximilian Nickel,
- Abstract要約: 本研究は,21種類のLLMの反応に比べて,ヒトの嗜好の変動が有意に大きいことを示す。
このことは、候補集合を生成する際に、負に相関するサンプリングの必要性を動機付けていると論じる。
コミュニティアライメント(Community Alignment)は,これまでで最大かつ最も代表的な多言語およびマルチターンの嗜好データセットである。
- 参考スコア（独自算出の注目度）: 15.639249716288953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How can large language models (LLMs) serve users with varying preferences that may conflict across cultural, political, or other dimensions? To advance this challenge, this paper establishes four key results. First, we demonstrate, through a large-scale multilingual human study with representative samples from five countries (N=15,000), that humans exhibit significantly more variation in preferences than the responses of 21 state-of-the-art LLMs. Second, we show that existing methods for preference dataset collection are insufficient for learning the diversity of human preferences even along two of the most salient dimensions of variability in global values, due to the underlying homogeneity of candidate responses. Third, we argue that this motivates the need for negatively-correlated sampling when generating candidate sets, and we show that simple prompt-based techniques for doing so significantly enhance the performance of alignment methods in learning heterogeneous preferences. Fourth, based on this novel candidate sampling approach, we collect and open-source Community Alignment, the largest and most representative multilingual and multi-turn preference dataset to date, featuring almost 200,000 comparisons from annotators spanning five countries. We hope that the Community Alignment dataset will be a valuable resource for improving the effectiveness of LLMs for a diverse global population.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、文化的、政治的、その他の側面で対立する可能性のある、さまざまな好みを持つユーザに、どのように提供すればよいのか?
この課題を進めるために,本論文では4つの重要な結果について述べる。
まず,5ヶ国の代表者(N=15,000)による大規模多言語人間の研究を通して,21ヶ国におけるLLMの反応よりも,人間の嗜好の多様性が著しく高いことを示した。
第2に,従来の選好データセット収集手法は,大域的価値の多様性の最も顕著な2次元に沿っても,人間の選好の多様性を学習するには不十分であることを示す。
第三に、これは候補集合を生成する際に負に相関するサンプリングの必要性を動機付け、不均一な選好を学習する際のアライメント手法の性能を大幅に向上させる単純なプロンプトベースの手法を示す。
第4に,この新たな候補サンプリングアプローチに基づいて,5カ国にまたがるアノテータから約20万件のアノテータを比較した,最大かつ最も代表的な多言語およびマルチターン選好データセットであるCommunity Alignmentをオープンソースとして収集する。
我々は,コミュニティアライメントデータセットが,多種多様なグローバル人口に対するLLMの有効性向上に有用な資源になることを期待する。
関連論文リスト
- Fair-PP: A Synthetic Dataset for Aligning LLM with Personalized Preferences of Social Equity [33.36483739554757]
ソーシャルエクイティをターゲットとしたパーソナライズされた好みの合成データセットであるFair-PPを紹介する。
また、(i)嗜好データを生成するための自動フレームワークと、よりきめ細かいパーソナライズされた嗜好データセット、(ii)パーソナライズされた選好空間内の5大グローバル領域にまたがる既存の主流言語モデルの配置の分析、(iii)パーソナライズされた選好アライメントのためのサンプル再重み付け手法についても貢献する。
論文 参考訳（メタデータ） (2025-05-17T06:02:00Z) - Cream of the Crop: Harvesting Rich, Scalable and Transferable Multi-Modal Data for Instruction Fine-Tuning [59.56171041796373]
我々は、堅牢で効率的なマルチモーダル・インストラクショナルデータを収集する。
インタラクションスタイルを多様性指標とし、マルチモーダルリッチなスタイルラーを用いてデータインストラクションパターンを識別する。
14のマルチモーダルベンチマークによって検証された10以上の実験環境において、ランダムサンプリング、ベースライン戦略、最先端の選択方法に対する一貫した改善を示す。
論文 参考訳（メタデータ） (2025-03-17T17:11:22Z) - PluralLLM: Pluralistic Alignment in LLMs via Federated Learning [7.752864126266439]
我々は、複数のユーザグループが機密データを共有せずに、トランスフォーマーベースの嗜好予測器を協調的に訓練できる、フェデレート学習ベースのアプローチであるPluralLLMを紹介した。
提案手法は,フェデレート平均化(FedAvg)を利用して,選好更新を効率よく集約し,コンバージェンスを46%高速化し,アライメントスコアを4%改善し,グループ公平度を集中訓練とほぼ同等に向上する。
論文 参考訳（メタデータ） (2025-03-13T00:45:27Z) - ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。
ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
論文 参考訳（メタデータ） (2024-10-21T14:02:40Z) - The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models [67.38144169029617]
我々は,75か国から1500人の多様な参加者の社会デマトグラフィーを,21大言語モデル(LLM)を用いた8,011のライブ会話において,文脈的嗜好ときめ細かいフィードバックにマッピングした。
PRISMでは、(i)より広い地理的・人口的なフィードバックへの参加、(ii)2つの国(UK, US)の国勢調査表現型サンプル、(iii)詳細な参加者プロファイルにリンクし、個人化とサンプルアーティファクトの帰属を許可する個別評価に寄与する。
我々はPRISMを3つのケーススタディで使用し、人間がどのアライメントデータを提供するかを慎重に検討する必要があることを示す。
論文 参考訳（メタデータ） (2024-04-24T17:51:36Z) - MaxMin-RLHF: Alignment with Diverse Human Preferences [101.57443597426374]
Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。
予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。
従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
論文 参考訳（メタデータ） (2024-02-14T03:56:27Z) - On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。
分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。
十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
論文 参考訳（メタデータ） (2023-12-12T16:17:15Z) - Sample Efficient Preference Alignment in LLMs via Active Exploration [63.84454768573154]
良い政策を最も効率的に特定するために、人間のフィードバックを得るコンテキストをしばしば選択できるという事実を活用します。
本稿では,データを効率的に選択する能動的探索アルゴリズムを提案する。
提案手法は,複数の言語モデルと4つの実世界のデータセットに対する人間の嗜好の限られたサンプルを用いて,ベースラインよりも優れる。
論文 参考訳（メタデータ） (2023-12-01T00:54:02Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T19:01:13Z) - Improving Diversity of Demographic Representation in Large Language
Models via Collective-Critiques and Self-Voting [19.79214899011072]
本稿では,生成的大言語モデルにおける表現の多様性を形式化する。
評価データセットを提示し、人や文化軸に沿って生成された反応の多様性を測定する指標を提案する。
LLMは多様性の概念を理解し、その目標に対して自身の反応を推論し、批判することができる。
論文 参考訳（メタデータ） (2023-10-25T10:17:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。