論文の概要: D2VBench: Benchmarking Large Language Models with Value Dilemmas in Daily Scenarios

• arxiv url: http://arxiv.org/abs/2607.19834v1
• Date: Wed, 22 Jul 2026 07:15:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.011112
• Title: D2VBench: Benchmarking Large Language Models with Value Dilemmas in Daily Scenarios
• Title（参考訳）: D2VBench: 日々のシナリオにおける価値ジレンマによる大規模言語モデルのベンチマーク
• Abstract要約: D2VBenchは,手動で注釈付き微粒な値の概念を定式化した158の値アライメントベンチマークである。 ベンチマーク評価のために,複数選択質問とオープンエンド質問を統合したハイブリッド評価パラダイムを提案する。 実験により、D2VBenchは高い信頼性とロバスト性を示し、LLMのアライメントを異なる値のカテゴリと次元で効果的に反映していることが示された。
• 参考スコア（独自算出の注目度）: 44.97202907424815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the wide application of large language models (LLMs) in real-world scenarios, the value implication of their outputs is crucial. However, existing evaluation benchmarks suffer from insufficient coverage of value dilemmas in daily scenarios involving multiple value conflicts and simplistic evaluation formalisms that fail to assess LLMs' value alignment. To address these issues, we propose D2VBench, a value alignment benchmark comprising 10,000 instances of real daily dilemma scenarios constructed through a multi-stage collaboration between LLMs and humans, grounded in 158 manually annotated fine-grained value concepts. For evaluation on the benchmark, we present a hybrid evaluation paradigm that integrates multiple-choice questions with open-ended questions. We conduct comprehensive evaluations on eight mainstream LLMs. Experimental results demonstrate that D2VBench exhibits high reliability and robustness, effectively reflecting the LLMs' alignment across different value categories and dimensions, and providing a more realistic and fine-grained tool for research on value alignment. The dataset is available at https://github.com/tjunlp-lab/D2VBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実世界のシナリオに広く適用されているため、そのアウトプットの価値は重要となる。 しかし、既存の評価ベンチマークでは、複数の価値衝突やLCMの値整合性を評価するのに失敗する単純な評価形式を含む日々のシナリオにおいて、価値ジレンマのカバレッジ不足に悩まされている。 これらの問題に対処するため,我々は,LLMと人間との多段階協調によって構築された1万件の日々のジレンマシナリオを,手動で注釈付けした158個の微粒な値概念をベースとした値アライメントベンチマークD2VBenchを提案する。 ベンチマーク評価のために,複数選択質問とオープンエンド質問を統合したハイブリッド評価パラダイムを提案する。 我々は8つの主要なLCMに対して総合的な評価を行う。 実験の結果、D2VBenchは高い信頼性とロバスト性を示し、LLMのアライメントを様々な値カテゴリや次元にわたって効果的に反映し、より現実的できめ細かな値アライメントの研究ツールを提供することが示された。 データセットはhttps://github.com/tjunlp-lab/D2VBench.comで公開されている。

関連論文リスト

• A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization [17.601111891544885]
  OmniCSEvalは6つの実世界のシナリオをまたいだ1,800の多様な会話からなる統合ベンチマークである。 きめ細かな評価には、キーファクトマッチングを統合した双方向のファクトチェックフレームワークを使用し、完全性と簡潔性を評価する。 推論能力とモデルスケールによってグループ分けされた4つのカテゴリにわたる28個のLLMを評価した。
  論文  参考訳（メタデータ） (2026-06-14T18:57:01Z)
• VAL-Bench: Measuring Value Alignment in Language Models [10.745372809345412]
  大きな言語モデル(LLM)は、出力が人間の決定を形作るタスクにますます使われています。 既存のベンチマークは、主に拒否や事前定義された安全違反を追跡するが、モデルが一貫性のある価値システムを保持するかどうかを明らかにしない。 VAL-Bench(Value ALignment Benchmark)を導入し、モデルが公開討論の両面において安定的な価値スタンスを維持しているかどうかを評価する。
  論文  参考訳（メタデータ） (2025-10-06T23:55:48Z)
• MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
  マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。 マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T15:09:14Z)
• SCORE: Systematic COnsistency and Robustness Evaluation for Large Language Models [4.875712300661656]
  本稿では,大規模言語モデルの非敵対的評価のための総合的なフレームワークであるSCORE ($mathbfS$ystematic $mathbfCO$nsistency and $mathbfR$obustness $mathbfE$valuationを提案する。 SCOREフレームワークは、様々な設定で同じベンチマークで繰り返しテストすることでモデルを評価し、精度と一貫性を現実的に見積もる。
  論文  参考訳（メタデータ） (2025-02-28T19:27:29Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly [34.205934899868346]
  HELMETは7つの多様なアプリケーション中心のカテゴリを包含する総合ベンチマークである。 NIAHのような合成タスクは、下流のパフォーマンスを確実に予測できない。 ほとんどのLCLMは完全なNIAHスコアを達成しているが、タスクが完全コンテキスト推論を必要とする場合、オープンソースモデルはクローズドなスコアよりも大幅に遅れている。
  論文  参考訳（メタデータ） (2024-10-03T17:20:11Z)
• LMMs-Eval: Reality Check on the Evaluation of Large Multimodal Models [71.8065384742686]
  LMMS-EVALは50以上のタスクと10以上のモデルを持つ統一的で標準化されたマルチモーダルベンチマークフレームワークである。 LMMS-EVAL LITEは、カバー範囲と効率の両方を重視したプルーニング評価ツールキットである。 マルチモーダルなLIVEBENCHは、ニュースやオンラインフォーラムを継続的に更新し、野生におけるモデルの一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-07-17T17:51:53Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。