論文の概要: The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models

• arxiv url: http://arxiv.org/abs/2404.16019v2
• Date: Tue, 03 Dec 2024 16:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:39:23.426483
• Title: The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models
• Title（参考訳）: PRISMアライメントデータセット:大規模言語モデルの主観的・多文化的アライメントに関する参加者、代表的、個人化された人間のフィードバック
• Authors: Hannah Rose Kirk, Alexander Whitefield, Paul Röttger, Andrew Bean, Katerina Margatina, Juan Ciro, Rafael Mosquera, Max Bartolo, Adina Williams, He He, Bertie Vidgen, Scott A. Hale,
• Abstract要約: 我々は,75か国から1500人の多様な参加者の社会デマトグラフィーを,21大言語モデル(LLM)を用いた8,011のライブ会話において,文脈的嗜好ときめ細かいフィードバックにマッピングした。 PRISMでは、(i)より広い地理的・人口的なフィードバックへの参加、(ii)2つの国(UK, US)の国勢調査表現型サンプル、(iii)詳細な参加者プロファイルにリンクし、個人化とサンプルアーティファクトの帰属を許可する個別評価に寄与する。 我々はPRISMを3つのケーススタディで使用し、人間がどのアライメントデータを提供するかを慎重に検討する必要があることを示す。
• 参考スコア（独自算出の注目度）: 67.38144169029617
• License:
• Abstract: Human feedback is central to the alignment of Large Language Models (LLMs). However, open questions remain about methods (how), domains (where), people (who) and objectives (to what end) of feedback processes. To navigate these questions, we introduce PRISM, a dataset that maps the sociodemographics and stated preferences of 1,500 diverse participants from 75 countries, to their contextual preferences and fine-grained feedback in 8,011 live conversations with 21 LLMs. With PRISM, we contribute (i) wider geographic and demographic participation in feedback; (ii) census-representative samples for two countries (UK, US); and (iii) individualised ratings that link to detailed participant profiles, permitting personalisation and attribution of sample artefacts. We target subjective and multicultural perspectives on value-laden and controversial issues, where we expect interpersonal and cross-cultural disagreement. We use PRISM in three case studies to demonstrate the need for careful consideration of which humans provide what alignment data.
• Abstract（参考訳）: 人間のフィードバックは、Large Language Models (LLM) のアライメントの中心である。 しかし、オープンな質問は、フィードバックプロセスの方法(方法)、ドメイン(場所)、人(人)、目的(どの目的)について残っています。 これらの質問をナビゲートするために,75か国から1500人の多様な参加者の好みをマッピングするデータセットであるPRISMを導入し,21のLLMと8,011のライブ会話において,その文脈的嗜好ときめ細かいフィードバックについて述べる。 PRISMで、私たちは貢献します (i)フィードバックにおけるより広い地理的・人口的参加 (二)2カ国(イギリス、米国)の国勢調査表現サンプル及び 三 詳細な受講者プロファイルに関連し、個人化及びサンプル成果物の帰属を許可する個別格付け。 我々は、対人的・異文化的な意見の相違を期待する価値観や議論を巻き起こす問題について、主観的・多文化的な視点をターゲットにしている。 我々はPRISMを3つのケーススタディで使用し、人間がどのアライメントデータを提供するかを慎重に検討する必要があることを示す。

関連論文リスト

• Evaluating Cultural Adaptability of a Large Language Model via Simulation of Synthetic Personas [4.0937229334408185]
  我々は、GPT-3.5を用いて、15カ国7,286人の参加者の説得的ニュース記事に対する反応を再現する。 対象者の居住国を特定することで,GPT-3.5の対応性の向上が期待できる。 対照的に、ネイティブ言語プロンプトを使用すると、全体的なアライメントを大幅に削減するシフトが発生する。
  論文  参考訳（メタデータ） (2024-08-13T14:32:43Z)
• Vision-Language Models under Cultural and Inclusive Considerations [53.614528867159706]
  視覚言語モデル(VLM)は、日常生活の画像を記述することで視覚障害者を支援する。 現在の評価データセットは、多様な文化的ユーザ背景や、このユースケースの状況を反映していない可能性がある。 我々は、字幕の好みを決定するための調査を作成し、視覚障害者によって撮影された画像を含む既存のデータセットであるVizWizをフィルタリングすることで、文化中心の評価ベンチマークを提案する。 次に,複数のVLMを評価し,その信頼性を文化的に多様な環境で視覚アシスタントとして検証した。
  論文  参考訳（メタデータ） (2024-07-08T17:50:00Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Whose Preferences? Differences in Fairness Preferences and Their Impact on the Fairness of AI Utilizing Human Feedback [8.04095222893591]
  我々は、人種、年齢、政治的スタンス、教育水準、LGBTQ+アノテーターのアイデンティティによって、公平さの選好に大きなギャップを見いだす。 また、テキストで言及された人口統計は、ユーザーがモデレーションにおいて個人の公平さをどう知覚するかに大きな影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2024-06-09T19:42:25Z)
• CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
  大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」 我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-05-22T20:19:10Z)
• D3CODE: Disentangling Disagreements in Data across Cultures on Offensiveness Detection and Evaluation [5.9053106775634685]
  4k以上のアノテーションをアノテータのプールにアノテートした4.5K以上の文で、攻撃的言語のための並列アノテーションの大規模なクロスカルチャーデータセットを紹介した。 このデータセットには、ケア、平等、比例、権威、忠誠、純粋性の6つの道徳的基礎に沿って収集されたアノテーターの道徳的価値が含まれている。 分析の結果,アノテータの知覚は個々の道徳的価値観によって形成されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-16T19:12:03Z)
• Investigating Cultural Alignment of Large Language Models [10.738300803676655]
  LLM(Large Language Models)は,異なる文化で採用されている多様な知識を真にカプセル化していることを示す。 社会学的調査をシミュレートし、実際の調査参加者のモデル応答を参考として、文化的アライメントの定量化を行う。 本稿では,人類学的推論を活用し,文化的アライメントを高める新しい手法である人類学的プロンプティングを紹介する。
  論文  参考訳（メタデータ） (2024-02-20T18:47:28Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Towards Measuring the Representation of Subjective Global Opinions in Language Models [26.999751306332165]
  大規模言語モデル(LLM)は、社会問題に関する多様なグローバルな視点を公平に表すものではない。 本研究では,どの意見がモデル生成応答に類似しているかを定量的に評価する枠組みを開発する。 他者が使用して構築するためのデータセットをリリースしています。
  論文  参考訳（メタデータ） (2023-06-28T17:31:53Z)
• The MuSe 2023 Multimodal Sentiment Analysis Challenge: Mimicked Emotions, Cross-Cultural Humour, and Personalisation [69.13075715686622]
  MuSe 2023は、現代の3つの異なるマルチモーダル感情と感情分析の問題に対処する共有タスクの集合である。 MuSe 2023は、さまざまな研究コミュニティから幅広いオーディエンスを集めようとしている。
  論文  参考訳（メタデータ） (2023-05-05T08:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。