論文の概要: ValuesRAG: Enhancing Cultural Alignment Through Retrieval-Augmented Contextual Learning

• arxiv url: http://arxiv.org/abs/2501.01031v2
• Date: Mon, 20 Jan 2025 06:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:52.597431
• Title: ValuesRAG: Enhancing Cultural Alignment Through Retrieval-Augmented Contextual Learning
• Title（参考訳）: ValuesRAG: 検索型コンテキスト学習による文化的アライメントの強化
• Authors: Wonduk Seo, Zonghao Yuan, Yi Bu,
• Abstract要約: 本研究では,テキスト生成中に文化的・人口的知識を動的に統合するためのValuesRAGを提案する。 ValuesRAGは、メイン実験とアブレーション研究の両方において、ベースライン法よりも一貫して優れている。 特に、ValuesRAGは、他のベースライン手法よりも21%の精度で改善されている。
• 参考スコア（独自算出の注目度）: 1.1343849658875087
• License:
• Abstract: Cultural values alignment in Large Language Models (LLMs) is a critical challenge due to their tendency to embed Western-centric biases from training data, leading to misrepresentations and fairness issues in cross-cultural contexts. Recent approaches, such as role-assignment and few-shot learning, often struggle with reliable cultural alignment as they heavily rely on pre-trained knowledge, lack scalability, and fail to capture nuanced cultural values effectively. To address these issues, we propose ValuesRAG, a novel and effective framework that applies Retrieval-Augmented Generation (RAG) with In-Context Learning (ICL) to integrate cultural and demographic knowledge dynamically during text generation. Leveraging the World Values Survey (WVS) dataset, ValuesRAG first generates summaries of values for each individual. Subsequently, we curate several representative regional datasets to serve as test datasets and retrieve relevant summaries of values based on demographic features, followed by a reranking step to select the top-k relevant summaries. ValuesRAG consistently outperforms baseline methods, both in the main experiment and in the ablation study where only the values summary was provided. Notably, ValuesRAG demonstrates an accuracy of 21% improvement over other baseline methods, highlighting its potential to foster culturally aligned AI systems and enhance the inclusivity of AI-driven applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)における文化的価値のアライメントは、トレーニングデータから西洋中心の偏見を埋め込む傾向にあるため、文化的な文脈における誤った表現や公平性の問題を引き起こすため、重要な課題である。 ロールアサインメントや少ショットラーニングといった最近のアプローチは、訓練済みの知識に強く依存し、スケーラビリティが欠如し、微妙な文化的価値を効果的に捉えられなかったため、信頼できる文化的アライメントに苦慮することが多い。 これらの課題に対処するために,テキスト生成中に動的に文化的・人口的知識を統合するために,検索・拡張生成(RAG)と文脈学習(ICL)を併用した,新規で効果的なフレームワークであるValuesRAGを提案する。 World Values Survey (WVS)データセットを活用することで、ValuesRAGはまず、個々の値の要約を生成する。 その後、いくつかの代表的な地域データセットをキュレートして、人口統計学的特徴に基づいて、テストデータセットとして機能し、関連する値の要約を取得する。 ValuesRAGは、メイン実験とアブレーション研究の両方において、値の要約のみを提供するベースライン法より一貫して優れている。 特に、ValuesRAGは、他のベースラインメソッドよりも21%の精度の向上を示し、文化的に整合したAIシステムを育み、AI駆動アプリケーションの傾きを高める可能性を強調している。

関連論文リスト

• Bottom-Up and Top-Down Analysis of Values, Agendas, and Observations in Corpora and LLMs [1.3119775978504942]
  大規模言語モデル (LLM) は、複数の潜在的視点から多様で位置し、説得力のあるテキストを生成する。 我々は、安全、正確性、包摂性、文化的忠実さを理由に、彼らが表現する社会文化的価値を特徴づけることを模索する。
  論文  参考訳（メタデータ） (2024-11-06T18:51:04Z)
• Navigating the Cultural Kaleidoscope: A Hitchhiker's Guide to Sensitivity in Large Language Models [4.771099208181585]
  LLMはますますグローバルなアプリケーションにデプロイされ、さまざまなバックグラウンドを持つユーザが尊敬され、理解されることが保証される。 文化的な害は、これらのモデルが特定の文化的規範と一致しないときに起こり、文化的な価値観の誤った表現や違反をもたらす。 潜在的な文化的不感を露呈するシナリオを通じて、異なる文化的文脈におけるモデルアウトプットを評価するために作成された文化的調和テストデータセットと、多様なアノテータからのフィードバックに基づいた微調整による文化的感受性の回復を目的とした、文化的に整合した選好データセットである。
  論文  参考訳（メタデータ） (2024-10-15T18:13:10Z)
• Benchmarking Cognitive Domains for LLMs: Insights from Taiwanese Hakka Culture [4.467334566487944]
  本研究では,文化的知識の理解と処理において,大規模言語モデル(LLM)の性能を評価するためのベンチマークを提案する。 この研究は、記憶、理解、応用、分析、評価、創造という6つの認知領域にわたるLLMを体系的に評価する多次元フレームワークを開発する。 その結果,すべての認知領域,特に文化知識の正確な検索と応用を必要とするタスクにおいて,RAGの有効性が強調された。
  論文  参考訳（メタデータ） (2024-09-03T02:50:04Z)
• Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
  本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。 我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。 異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
  論文  参考訳（メタデータ） (2024-06-17T14:03:27Z)
• No Filter: Cultural and Socioeconomic Diversity in Contrastive Vision-Language Models [38.932610459192105]
  コントラッシブ・ビジョン言語モデル(VLM)における文化的・社会経済的多様性の研究 我々の研究は、より包括的なマルチモーダルシステムを構築するために、多様なデータを使うことの価値を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-05-22T16:04:22Z)
• CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
  我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。 我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
  論文  参考訳（メタデータ） (2024-04-10T00:25:09Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)
• CDEval: A Benchmark for Measuring the Cultural Dimensions of Large Language Models [41.885600036131045]
  CDEvalは、大規模言語モデルの文化的側面を評価するためのベンチマークである。 GPT-4の自動生成と人間による検証の両方を取り入れて構築され、7つの領域にわたる6つの文化的次元をカバーする。
  論文  参考訳（メタデータ） (2023-11-28T02:01:25Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。