論文の概要: Benchmarking Multi-National Value Alignment for Large Language Models

• arxiv url: http://arxiv.org/abs/2504.12911v1
• Date: Thu, 17 Apr 2025 13:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:54.931729
• Title: Benchmarking Multi-National Value Alignment for Large Language Models
• Title（参考訳）: 大規模言語モデルのための多国間価値アライメントのベンチマーク
• Authors: Chengyi Ju, Weijie Shi, Chengzhong Liu, Jiaming Ji, Jipeng Zhang, Ruiyuan Zhang, Jia Zhu, Jiajie Xu, Yaodong Yang, Sirui Han, Yike Guo,
• Abstract要約: 大規模言語モデルと5つの主要国の値の整合性を評価するためのベンチマークであるNaVABを紹介する。 NaVABは、価値評価データセットを効率的に構築するための国家価値抽出パイプラインを実装している。 各国の様々なLCMについて広範な実験を行い、その結果、不整合シナリオの識別支援に関する知見を提供する。
• 参考スコア（独自算出の注目度）: 23.378701093426546
• License:
• Abstract: Do Large Language Models (LLMs) hold positions that conflict with your country's values? Occasionally they do! However, existing works primarily focus on ethical reviews, failing to capture the diversity of national values, which encompass broader policy, legal, and moral considerations. Furthermore, current benchmarks that rely on spectrum tests using manually designed questionnaires are not easily scalable. To address these limitations, we introduce NaVAB, a comprehensive benchmark to evaluate the alignment of LLMs with the values of five major nations: China, the United States, the United Kingdom, France, and Germany. NaVAB implements a national value extraction pipeline to efficiently construct value assessment datasets. Specifically, we propose a modeling procedure with instruction tagging to process raw data sources, a screening process to filter value-related topics and a generation process with a Conflict Reduction mechanism to filter non-conflicting values.We conduct extensive experiments on various LLMs across countries, and the results provide insights into assisting in the identification of misaligned scenarios. Moreover, we demonstrate that NaVAB can be combined with alignment techniques to effectively reduce value concerns by aligning LLMs' values with the target country.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、国の価値観と矛盾する立場にあるか? 時にはそうすることもある。 しかし、既存の著作は主に倫理的レビューに焦点を当てており、より広範な政策、法的、道徳的考察を含む国家価値の多様性を捉えていない。 さらに、手動で設計したアンケートを用いたスペクトルテストに依存する現在のベンチマークは、容易ではない。 これらの制限に対処するため,中国,米国,英国,フランス,ドイツの5大国の価値観とLLMの整合性を評価するための総合的なベンチマークであるNaVABを紹介した。 NaVABは、価値評価データセットを効率的に構築するための国家価値抽出パイプラインを実装している。 具体的には、原データソースを処理するための指示タグ付きモデリング手順、価値関連トピックをフィルタリングするスクリーニングプロセス、非競合値をフィルタリングする衝突低減機構を用いた生成プロセスを提案する。 さらに,NAVABとアライメント技術を組み合わせることで,LLMの値を目標国と整合させることで,価値の懸念を効果的に軽減できることを示す。

関連論文リスト

• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• LocalValueBench: A Collaboratively Built and Extensible Benchmark for Evaluating Localized Value Alignment and Ethical Safety in Large Language Models [0.0]
  大規模言語モデル(LLM)の普及は、その局所的価値や倫理的基準との整合性をしっかりと評価する必要がある。 textscLocalValueBenchは、LLMがオーストラリアの値に準拠していることを評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2024-07-27T05:55:42Z)
• LMMs-Eval: Reality Check on the Evaluation of Large Multimodal Models [71.8065384742686]
  LMMS-EVALは50以上のタスクと10以上のモデルを持つ統一的で標準化されたマルチモーダルベンチマークフレームワークである。 LMMS-EVAL LITEは、カバー範囲と効率の両方を重視したプルーニング評価ツールキットである。 マルチモーダルなLIVEBENCHは、ニュースやオンラインフォーラムを継続的に更新し、野生におけるモデルの一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-07-17T17:51:53Z)
• ValueBench: Towards Comprehensively Evaluating Value Orientations and Understanding of Large Language Models [14.268555410234804]
  大規模言語モデル(LLM)は多様な分野を変革し、人間のプロキシとして影響力を増している。 この研究は、LLMにおける価値オリエンテーションと価値理解を評価するための最初の総合的な心理測定ベンチマークであるValueBenchを紹介した。
  論文  参考訳（メタデータ） (2024-06-06T16:14:16Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• The Eval4NLP 2023 Shared Task on Prompting Large Language Models as Explainable Metrics [36.52897053496835]
  生成型大規模言語モデル (LLM) は、タスクに関連する最小あるいは全くの例でタスクを解く顕著な能力を示している。 Eval4NLP 2023共有タスクを導入し、参加者に対して機械翻訳(MT)と要約評価のためのプロンプトとスコア抽出について検討する。 本稿では,参加者のアプローチの概要を述べるとともに,MTと要約データセットの3つの言語対にまたがる新しい参照なしテストセットについて評価する。
  論文  参考訳（メタデータ） (2023-10-30T17:55:08Z)
• CLEVA: Chinese Language Models EVAluation Platform [92.42981537317817]
  CLEVAは,中国のLLMを階層的に評価するためのユーザフレンドリーなプラットフォームである。 当社のプラットフォームでは,LLMのパフォーマンスをさまざまな次元で評価するために標準化されたワークフローを採用し,定期的に競合するリーダボードを更新しています。 汚染を軽減するため、CLEVAは、新しいデータのかなりの割合をキュレーションし、各リーダーボードラウンドのユニークなサブセットを保証するサンプリング戦略を開発する。 マウスクリック数回とモデルAPIを必要とする使い勝手の良いインターフェースと、最小限のコーディングで徹底的な評価を行うことができる。
  論文  参考訳（メタデータ） (2023-08-09T09:11:31Z)
• CARE-MI: Chinese Benchmark for Misinformation Evaluation in Maternity and Infant Care [14.326936563564171]
  大規模言語モデル(LLM)における誤情報評価のためのベンチマークCARE-MIを提案する。 提案するベンチマークは,LLMの広範利用と,これらのモデルが生成した誤情報を評価するためのデータセットの欠如とのギャップを埋めるものである。 ベンチマークの結果,母子関係や乳幼児ケアの分野では,現在の中国のLSMは完璧とは程遠いことが判明した。
  論文  参考訳（メタデータ） (2023-07-04T03:34:19Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。