論文の概要: ValueDCG: Measuring Comprehensive Human Value Understanding Ability of Language Models

• arxiv url: http://arxiv.org/abs/2310.00378v4
• Date: Mon, 17 Jun 2024 07:58:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 12:30:40.044805
• Title: ValueDCG: Measuring Comprehensive Human Value Understanding Ability of Language Models
• Title（参考訳）: ValueDCG: 言語モデルの包括的人間的価値理解能力の測定
• Authors: Zhaowei Zhang, Fengshuo Bai, Jun Gao, Yaodong Yang,
• Abstract要約: LLM(Large Language Models)の真に理解するためには、"know What"と"know why"の両方が必要です。 本稿では,工学的手法を用いて2つの側面を定量的に評価するための総合評価指標であるValueDCGを提案する。
• 参考スコア（独自算出の注目度）: 10.989615390700113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personal values are a crucial factor behind human decision-making. Considering that Large Language Models (LLMs) have been shown to impact human decisions significantly, it is essential to make sure they accurately understand human values to ensure their safety. However, evaluating their grasp of these values is complex due to the value's intricate and adaptable nature. We argue that truly understanding values in LLMs requires considering both "know what" and "know why". To this end, we present a comprehensive evaluation metric, ValueDCG (Value Discriminator-Critique Gap), to quantitatively assess the two aspects with an engineering implementation. We assess four representative LLMs and provide compelling evidence that the growth rates of LLM's "know what" and "know why" capabilities do not align with increases in parameter numbers, resulting in a decline in the models' capacity to understand human values as larger amounts of parameters. This may further suggest that LLMs might craft plausible explanations based on the provided context without truly understanding their inherent value, indicating potential risks.
• Abstract（参考訳）: 人的価値は人間の意思決定の背後にある重要な要素である。 大きな言語モデル(LLM)が人間の決定に大きく影響していることを考えると、人間の価値を正確に理解して安全性を確保することが不可欠である。 しかし、これらの値の把握は、その値が複雑で適応可能な性質のため複雑である。 LLMの価値を真に理解するには、"know what"と"know why"の両方を考慮する必要がある、と私たちは主張する。 そこで本研究では,2つの側面を定量的に評価するための総合評価指標であるValueDCG(Value Discriminator-Critique Gap)を提案する。 4つの代表的なLCMを評価し,LLMの「何」と「なぜ」の能力の成長率がパラメータ数の増加と一致しないことを示す。 このことは、LLMが提供されたコンテキストに基づいて、その固有の価値を真に理解せず、潜在的なリスクを示さずに、もっともらしい説明を行うかもしれないことを示唆している。

関連論文リスト

• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• CLAVE: An Adaptive Framework for Evaluating Values of LLM Generated Responses [34.77031649891843]
  CLAVEは2つの補完的なLarge Language Model(LLM)を統合する新しいフレームワークである。 このデュアルモデルアプローチは、値タイプ当たり100個の人ラベルサンプルを使用して、任意の値システムでキャリブレーションを可能にする。 ValEvalは13k+(text,value,label)12+を多種多様なドメインで構成し、3つの主要なバリューシステムをカバーする包括的データセットである。
  論文  参考訳（メタデータ） (2024-07-15T13:51:37Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
  価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。 統計的学習者として、AIシステムはデフォルトで平均に適合する。 ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
  論文  参考訳（メタデータ） (2023-09-02T01:24:59Z)
• CValues: Measuring the Values of Chinese Large Language Models from Safety to Responsibility [62.74405775089802]
  LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。 その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。 以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2023-07-19T01:22:40Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。