論文の概要: CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

• arxiv url: http://arxiv.org/abs/2504.10823v3
• Date: Fri, 26 Sep 2025 17:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.312048
• Title: CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives
• Title（参考訳）: CLASH:複数視点からの高次ジレンマ判断のための言語モデルの評価
• Authors: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang,
• Abstract要約: CLASHは345個のハイインパクトジレンマと3,795個の異なる値の個々の視点からなるデータセットである。 CLASHは、価値に基づく意思決定プロセスの批判的かつ未調査な側面の研究を可能にする。 GPT-5やClaude-4-Sonnetのような強力なプロプライエタリモデルでさえ、曖昧な決定に苦戦している。
• 参考スコア（独自算出の注目度）: 3.7931130268412194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Navigating dilemmas involving conflicting values is challenging even for humans in high-stakes domains, let alone for AI, yet prior work has been limited to everyday scenarios. To close this gap, we introduce CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), a meticulously curated dataset consisting of 345 high-impact dilemmas along with 3,795 individual perspectives of diverse values. CLASH enables the study of critical yet underexplored aspects of value-based decision-making processes, including understanding of decision ambivalence and psychological discomfort as well as capturing the temporal shifts of values in the perspectives of characters. By benchmarking 14 non-thinking and thinking models, we uncover several key findings. (1) Even strong proprietary models, such as GPT-5 and Claude-4-Sonnet, struggle with ambivalent decisions, achieving only 24.06 and 51.01 accuracy. (2) Although LLMs reasonably predict psychological discomfort, they do not adequately comprehend perspectives involving value shifts. (3) Cognitive behaviors that are effective in the math-solving and game strategy domains do not transfer to value reasoning. Instead, new failure patterns emerge, including early commitment and overcommitment. (4) The steerability of LLMs towards a given value is significantly correlated with their value preferences. (5) Finally, LLMs exhibit greater steerability when reasoning from a third-party perspective, although certain values (e.g., safety) benefit uniquely from first-person framing.
• Abstract（参考訳）: 相反する価値を含むジレンマをナビゲートすることは、AIだけでなく、高度な領域の人間にとっても難しいが、以前の作業は日常的なシナリオに限られていた。 CLASH(Character perspective-based LLM Assessments in situations with High-Stakes)は,345個のハイインパクトジレンマと3,795個の多様な値の個別の視点からなる精密に計算されたデータセットである。 CLASHは、決定のあいまいさや心理的不快感の理解や、文字の観点からの価値の時間的変化の把握など、価値に基づく意思決定プロセスの批判的かつ未解明な側面の研究を可能にする。 14の非思考モデルと思考モデルのベンチマークによって、いくつかの重要な発見が明らかになった。 1) GPT-5 や Claude-4-Sonnet のような強力なプロプライエタリモデルでさえ、24.06 と 51.01 の精度しか達成していない。 2) LLMは心理的不快感を合理的に予測するが, 価値観の変化を含む視点を十分に理解していない。 3)数学解法やゲーム戦略領域で有効な認知行動は価値推論に移行しない。 代わりに、早期のコミットメントや過剰なコミットを含む、新たな障害パターンが出現する。 (4) 所定値に対するLCMの操舵性は, それらの値嗜好と大きく相関している。 (5) 最後に, LLMは, 第三者の観点から考えると, 一人称フレーミングから一意に, 一定の値(安全性など)を得られるが, 高いステアビリティを示す。

関連論文リスト

• Reasoning Models Can be Easily Hacked by Fake Reasoning Bias [59.79548223686273]
  我々は、Reasoning Theatre Bias (RTB)を評価するための総合的なベンチマークTheATERを紹介する。 簡単なクイズとフェイク・オブ・サートを含む6種類のバイアスタイプについて検討した。 我々は、RTBの最も強力な形式として、'hallow reasoning'-plausibleだが欠陥のある議論を識別する。
  論文  参考訳（メタデータ） (2025-07-18T09:06:10Z)
• Visual hallucination detection in large vision-language models via evidential conflict [24.465497252040294]
  Dempster-Shafer理論(DST)に基づく不確実性推定によるLVLMの視覚幻覚検出法 そこで本研究では,LVLMの視覚幻覚検出手法として,DST(Dempster-Shafer theory)を用いた第1次視覚幻覚検出法を提案する。
  論文  参考訳（メタデータ） (2025-06-24T11:03:10Z)
• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Bounded Rationality for LLMs: Satisficing Alignment at Inference-Time [52.230936493691985]
  本稿では,2次基準のしきい値に基づく制約を満たしつつ,主目的を最大化し,アライメントの多面性に対処する推論フレームワークSITAlignを提案する。 我々は、満足度に基づく推論アライメントアプローチの準最適境界を導出することで理論的洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-29T17:56:05Z)
• The Staircase of Ethics: Probing LLM Value Priorities through Multi-Step Induction to Complex Moral Dilemmas [20.792208554628367]
  我々は多段階モラルジレンマデータセットを導入し,3,302個の5段階ジレンマのLLMの進化的道徳的判断を評価する。 このフレームワークは、LLMがジレンマをエスカレートする際の道徳的推論をどのように調整するかを、きめ細やかな動的解析を可能にする。 我々の研究は、動的で文脈に配慮した評価パラダイムへのシフトを呼びかけ、LLMのより人間らしく価値に敏感な開発への道を開いた。
  論文  参考訳（メタデータ） (2025-05-23T17:59:50Z)
• VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
  VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。 これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。 ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• Towards Characterizing Subjectivity of Individuals through Modeling Value Conflicts and Trade-offs [22.588557390720236]
  我々は,ソーシャルメディア上での個人の主観性を特徴付け,その道徳的判断を大規模言語モデルを用いて推測する。 本研究では,個人の主観的根拠をよりよく表現するために,ユーザ生成テキストにおける価値相反やトレードオフを観察するフレームワークであるSOLARを提案する。
  論文  参考訳（メタデータ） (2025-04-17T04:20:05Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Evaluating and Advancing Multimodal Large Language Models in Perception Ability Lens [30.083110119139793]
  textbfAbilityLensはMLLMを6つの重要な知覚能力で評価する統合ベンチマークである。 我々は、現在のメインストリームMLLMの長所と短所を特定し、安定性パターンを強調し、最先端のオープンソースモデルとクローズドソースモデルの顕著なパフォーマンスギャップを明らかにする。
  論文  参考訳（メタデータ） (2024-11-22T04:41:20Z)
• CLAVE: An Adaptive Framework for Evaluating Values of LLM Generated Responses [34.77031649891843]
  CLAVEは2つの補完的なLarge Language Model(LLM)を統合する新しいフレームワークである。 このデュアルモデルアプローチは、値タイプ当たり100個の人ラベルサンプルを使用して、任意の値システムでキャリブレーションを可能にする。 ValEvalは13k+(text,value,label)12+を多種多様なドメインで構成し、3つの主要なバリューシステムをカバーする包括的データセットである。
  論文  参考訳（メタデータ） (2024-07-15T13:51:37Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• BeHonest: Benchmarking Honesty in Large Language Models [23.192389530727713]
  我々は、大規模言語モデルにおける誠実さを評価するために特別に設計された、先駆的なベンチマークであるBeHonestを紹介する。 BeHonest氏は、知識境界の認識、偽造の回避、応答の一貫性の3つの重要な側面を評価している。 以上の結果から,LSMの正直性には改善の余地がまだ残っていることが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T06:46:59Z)
• Decision-Making Behavior Evaluation Framework for LLMs under Uncertain Context [5.361970694197912]
  本稿では,大規模言語モデル(LLM)の意思決定行動を評価するための行動経済学に基づく枠組みを提案する。 本稿では,ChatGPT-4.0-Turbo,Claude-3-Opus,Gemini-1.0-proの3つの商用LCMにおけるリスク嗜好,確率重み付け,損失回避の程度を推定する。 以上の結果から,LSMはリスク回避や損失回避といった人間に類似したパターンを呈し,その傾向は小さすぎることが示唆された。
  論文  参考訳（メタデータ） (2024-06-10T02:14:19Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。