論文の概要: CVC: A Large-Scale Chinese Value Rule Corpus for Value Alignment of Large Language Models
- arxiv url: http://arxiv.org/abs/2506.01495v1
- Date: Mon, 02 Jun 2025 09:56:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 04:22:50.740853
- Title: CVC: A Large-Scale Chinese Value Rule Corpus for Value Alignment of Large Language Models
- Title(参考訳): CVC:大言語モデルの値アライメントのための大規模中国価値ルールコーパス
- Authors: Ping Wu, Guobin Shen, Dongcheng Zhao, Yuwei Wang, Yiting Dong, Yu Shi, Enmeng Lu, Feifei Zhao, Yi Zeng,
- Abstract要約: 本研究では,中国中核値に基づく階層的価値枠組みを提案し,主次元3,コア値12,派生値50を包含する。
我々は,人間のアノテーションによって拡張・拡張された25万以上の値規則を含む大規模中国価値コーパス(CVC)を構築した。
われわれの研究は、中国の特徴を表す総合的な価値評価とアライメントのための文化的適応型ベンチマークフレームワークを確立する。
- 参考スコア(独自算出の注目度): 12.19187341917595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensuring that Large Language Models (LLMs) align with mainstream human values and ethical norms is crucial for the safe and sustainable development of AI. Current value evaluation and alignment are constrained by Western cultural bias and incomplete domestic frameworks reliant on non-native rules; furthermore, the lack of scalable, rule-driven scenario generation methods makes evaluations costly and inadequate across diverse cultural contexts. To address these challenges, we propose a hierarchical value framework grounded in core Chinese values, encompassing three main dimensions, 12 core values, and 50 derived values. Based on this framework, we construct a large-scale Chinese Values Corpus (CVC) containing over 250,000 value rules enhanced and expanded through human annotation. Experimental results show that CVC-guided scenarios outperform direct generation ones in value boundaries and content diversity. In the evaluation across six sensitive themes (e.g., surrogacy, suicide), seven mainstream LLMs preferred CVC-generated options in over 70.5% of cases, while five Chinese human annotators showed an 87.5% alignment with CVC, confirming its universality, cultural relevance, and strong alignment with Chinese values. Additionally, we construct 400,000 rule-based moral dilemma scenarios that objectively capture nuanced distinctions in conflicting value prioritization across 17 LLMs. Our work establishes a culturally-adaptive benchmarking framework for comprehensive value evaluation and alignment, representing Chinese characteristics. All data are available at https://huggingface.co/datasets/Beijing-AISI/CVC, and the code is available at https://github.com/Beijing-AISI/CVC.
- Abstract(参考訳): 大規模言語モデル(LLM)が主流の人間の価値観と倫理的規範と整合することを保証することは、AIの安全で持続可能な開発に不可欠である。
現在の価値評価とアライメントは、西洋文化バイアスによって制約され、非ネイティブなルールに依存しない不完全な国内枠組み、さらにスケーラブルでルール駆動のシナリオ生成手法の欠如により、さまざまな文化的文脈で評価が高価かつ不十分になる。
これらの課題に対処するため,中国中核値に根ざした階層的価値枠組みを提案し,主次元,12コア値,50派生値を含む。
この枠組みに基づいて,人間のアノテーションによって拡張・拡張された25万以上の値規則を含む大規模中国価値コーパス(CVC)を構築した。
実験の結果、CVC誘導シナリオは、価値境界とコンテンツ多様性において直接生成シナリオよりも優れていた。
6つのセンシティブなテーマ(例えば、代理、自殺)に対する評価では、7つの主要なLCMが70.5%以上のケースでCVC生成オプションを好んだのに対し、5人の中国人アノテーターはCVCと87.5%のアライメントを示し、その普遍性、文化的関連性、中国の価値観との強い整合性を確認した。
さらに、ルールに基づく道徳ジレンマシナリオを40万件構築し、17 LLM間の矛盾する価値優先順位付けにおけるニュアンスドの区別を客観的に捉える。
われわれの研究は、中国の特徴を表す総合的な価値評価とアライメントのための文化的適応型ベンチマークフレームワークを確立する。
すべてのデータはhttps://huggingface.co/datasets/Beijing-AISI/CVCで、コードはhttps://github.com/Beijing-AISI/CVCで入手できる。
関連論文リスト
- Cultural Value Alignment in Large Language Models: A Prompt-based Analysis of Schwartz Values in Gemini, ChatGPT, and DeepSeek [0.0]
本研究では,大きな言語モデル(LLM)における文化的価値のアライメントを,Gemini,ChatGPT,DeepSeekがSchwartzのバリューフレームワークからどのように価値を優先するかを分析することによって検討する。
ベイズ順序回帰モデルの結果は、自己超越値(例えば、ベネヴァレンス、普遍主義)が全てのモデルで高い優先順位付けがなされていることを示している。
DeepSeekは、ChatGPTやGeminiと比べて独自の自己啓発価値を軽視し、集合主義的な文化的傾向と一致した。
論文 参考訳(メタデータ) (2025-05-21T14:03:19Z) - Benchmarking Multi-National Value Alignment for Large Language Models [23.378701093426546]
大規模言語モデルと5つの主要国の値の整合性を評価するためのベンチマークであるNaVABを紹介する。
NaVABは、価値評価データセットを効率的に構築するための国家価値抽出パイプラインを実装している。
各国の様々なLCMについて広範な実験を行い、その結果、不整合シナリオの識別支援に関する知見を提供する。
論文 参考訳(メタデータ) (2025-04-17T13:01:38Z) - Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。
価値を人間に合わせることは 責任ある開発に欠かせないものになっています
3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
論文 参考訳(メタデータ) (2025-01-13T05:53:56Z) - LocalValueBench: A Collaboratively Built and Extensible Benchmark for Evaluating Localized Value Alignment and Ethical Safety in Large Language Models [0.0]
大規模言語モデル(LLM)の普及は、その局所的価値や倫理的基準との整合性をしっかりと評価する必要がある。
textscLocalValueBenchは、LLMがオーストラリアの値に準拠していることを評価するために設計されたベンチマークである。
論文 参考訳(メタデータ) (2024-07-27T05:55:42Z) - Value FULCRA: Mapping Large Language Models to the Multidimensional
Spectrum of Basic Human Values [47.779186412943076]
本稿では,新しい基本値アライメントパラダイムと,基本値次元にまたがる値空間を提案する。
人文科学における人文科学と社会科学の基本的価値観に触発され、この研究は、新しい基本的価値アライメントパラダイムと、基本的価値次元にまたがる価値空間を提案する。
今後の研究を促進するために、代表的シュワルツの基本値理論を例として応用し、5k(LLM出力、値ベクトル)ペアからなるデータセットであるFULCRAを構築する。
論文 参考訳(メタデータ) (2023-11-15T10:29:28Z) - CValues: Measuring the Values of Chinese Large Language Models from
Safety to Responsibility [62.74405775089802]
LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。
その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。
以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
論文 参考訳(メタデータ) (2023-07-19T01:22:40Z) - Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。
本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
論文 参考訳(メタデータ) (2023-05-26T02:34:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。