論文の概要: Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values

• arxiv url: http://arxiv.org/abs/2501.07071v1
• Date: Mon, 13 Jan 2025 05:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:25:29.528824
• Title: Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values
• Title（参考訳）: Value Compass Leaderboard: LLMの基本的な評価と検証のためのプラットフォーム
• Authors: Jing Yao, Xiaoyuan Yi, Shitong Duan, Jindong Wang, Yuzhuo Bai, Muhua Huang, Peng Zhang, Tun Lu, Zhicheng Dou, Maosong Sun, Xing Xie,
• Abstract要約: 大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
• 参考スコア（独自算出の注目度）: 76.70893269183684
• License:
• Abstract: As Large Language Models (LLMs) achieve remarkable breakthroughs, aligning their values with humans has become imperative for their responsible development and customized applications. However, there still lack evaluations of LLMs values that fulfill three desirable goals. (1) Value Clarification: We expect to clarify the underlying values of LLMs precisely and comprehensively, while current evaluations focus narrowly on safety risks such as bias and toxicity. (2) Evaluation Validity: Existing static, open-source benchmarks are prone to data contamination and quickly become obsolete as LLMs evolve. Additionally, these discriminative evaluations uncover LLMs' knowledge about values, rather than valid assessments of LLMs' behavioral conformity to values. (3) Value Pluralism: The pluralistic nature of human values across individuals and cultures is largely ignored in measuring LLMs value alignment. To address these challenges, we presents the Value Compass Leaderboard, with three correspondingly designed modules. It (i) grounds the evaluation on motivationally distinct \textit{basic values to clarify LLMs' underlying values from a holistic view; (ii) applies a \textit{generative evolving evaluation framework with adaptive test items for evolving LLMs and direct value recognition from behaviors in realistic scenarios; (iii) propose a metric that quantifies LLMs alignment with a specific value as a weighted sum over multiple dimensions, with weights determined by pluralistic values.
• Abstract（参考訳）: 大きな言語モデル(LLM)が目覚ましいブレークスルーを達成するにつれて、その価値と人間との整合性は、彼らの責任ある開発とカスタマイズされたアプリケーションに欠かせないものになっています。 しかし、3つの望ましい目標を達成するLLMの評価はいまだに欠けている。 1) 価値の明確化: LLMの根本的価値を的確かつ包括的に明らかにするとともに, バイアスや毒性などの安全性リスクを狭義に評価することが期待されている。 2) 評価妥当性: 既存の静的なオープンソースベンチマークはデータの汚染を招きやすいため,LSMの進化とともに急速に廃れていく。 さらに、これらの識別的評価は、LLMの値に対する行動整合性の有効な評価よりも、LLMの値に関する知識を明らかにする。 (3)価値多元主義:個人と文化にまたがる人的価値の多元的性質は、LLMの価値アライメントの測定において無視される。 これらの課題に対処するため、3つのモジュールが設計されたValue Compass Leaderboardを紹介します。 それ i) LLMの根底にある価値を全体的視点から明らかにするために,モチベーション的に異なる \textit{basic value に基づく評価を基礎とする。 (二) LLMの進化と現実シナリオにおける行動からの直接的価値認識のための適応的テスト項目を備えた「textit{generative evolution evaluation framework」を適用する。 (iii)複数次元上の重み付け和として特定の値とLLMのアライメントを定量化する計量を提案し、重み付けは多元的値によって決定される。

関連論文リスト

• Generative Psycho-Lexical Approach for Constructing Value Systems in Large Language Models [13.513813405118478]
  大規模言語モデル(LLM)は、その本質的な価値に関する懸念を提起している。 本研究は、生成心理学的アプローチ(GPLA)の導入によるギャップに対処する。 LLMに適した心理学的基礎を持つ5要素値システムを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:10:55Z)
• Mind the Value-Action Gap: Do LLMs Act in Alignment with Their Values? [13.848674226159169]
  バリュー・アクション・ギャップ(Value-Action Gap)は、現実の文脈における個人の価値観と行動の相違を明らかにする。 本研究では,LLMの値と値インフォームドアクションのアライメントを評価するための評価フレームワークであるValueActionLensを紹介する。
  論文  参考訳（メタデータ） (2025-01-26T09:33:51Z)
• CLAVE: An Adaptive Framework for Evaluating Values of LLM Generated Responses [34.77031649891843]
  CLAVEは2つの補完的なLarge Language Model(LLM)を統合する新しいフレームワークである。 このデュアルモデルアプローチは、値タイプ当たり100個の人ラベルサンプルを使用して、任意の値システムでキャリブレーションを可能にする。 ValEvalは13k+(text,value,label)12+を多種多様なドメインで構成し、3つの主要なバリューシステムをカバーする包括的データセットである。
  論文  参考訳（メタデータ） (2024-07-15T13:51:37Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。