論文の概要: EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.05942v1
• Date: Tue, 07 Oct 2025 13:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.276664
• Title: EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models
• Title（参考訳）: EvalMORAAL:大規模言語モデルにおけるモーラルアライメントの解釈的連鎖とLCM-as-Judge評価
• Abstract要約: EvalMORAALは20の大規模言語モデルにおいてモラルアライメントを評価する透過的なチェーン・オブ・シントフレームワークである。 世界価値調査(55か国、19か国)とPEWグローバル姿勢調査(39か国、8か国)のモデルを評価する。
• 参考スコア（独自算出の注目度）: 1.141545154221656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present EvalMORAAL, a transparent chain-of-thought (CoT) framework that uses two scoring methods (log-probabilities and direct ratings) plus a model-as-judge peer review to evaluate moral alignment in 20 large language models. We assess models on the World Values Survey (55 countries, 19 topics) and the PEW Global Attitudes Survey (39 countries, 8 topics). With EvalMORAAL, top models align closely with survey responses (Pearson's r approximately 0.90 on WVS). Yet we find a clear regional difference: Western regions average r=0.82 while non-Western regions average r=0.61 (a 0.21 absolute gap), indicating consistent regional bias. Our framework adds three parts: (1) two scoring methods for all models to enable fair comparison, (2) a structured chain-of-thought protocol with self-consistency checks, and (3) a model-as-judge peer review that flags 348 conflicts using a data-driven threshold. Peer agreement relates to survey alignment (WVS r=0.74, PEW r=0.39, both p<.001), supporting automated quality checks. These results show real progress toward culture-aware AI while highlighting open challenges for use across regions.
• Abstract（参考訳）: EvalMORAALは2つのスコアリング手法(ログ確率と直接評価)とモデル・アズ・ジャッジ・ピア・レビューを用いて20大言語モデルにおけるモラルアライメントを評価する透過的チェーン・オブ・シント(CoT)フレームワークである。 我々は,世界価値調査(55か国,19か国)およびPEWグローバル姿勢調査(39か国,8か国)のモデルを評価する。 EvalMORAALでは、トップモデルはサーベイレスポンス(WVSのピアソン r は約0.90)と密接に一致している。 西部地域の平均はr=0.82であり、非西部地域の平均はr=0.61(0.21絶対差)であり、一貫した地域バイアスを示している。 本フレームワークには, 公正比較を可能にする2つのモデル評価手法, 2) 自己整合性チェックを備えた構造化連鎖プロトコル, (3) データ駆動しきい値を用いて348の競合をフラグするモデル・アズ・ジャッジ・ピア・レビュー, の3つの部分が追加されている。 ピア合意は、自動品質チェックをサポートするサーベイアライメント(WVS r=0.74, PEW r=0.39, both p<.001)に関連している。 これらの結果は、文化を意識したAIへの真の進歩を示しながら、地域横断で使用するためのオープンな課題を強調している。

関連論文リスト

• HarnessEval-W: Agentifying the Evaluation of Visual Worlds [149.63310396189317]
  HarnessEval-Wは、世界モデルのベンチマークのためのエージェント化された評価パイプラインである。 HarnessEval-Wは固定ルーブリックを適用するのではなく、評価問題を測定可能なサブプロブレムに分解する。 330件の評価事例に対して,HarnessEval-Wを18の代表的な世界モデルに適用した。
  論文  参考訳（メタデータ） (2026-08-17T17:43:24Z)
• SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
  SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。 我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。 我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2026-08-07T16:11:46Z)
• REGARD: Regional Affective Differences in Large Language Models [32.505127447635864]
  ターゲット指向のValence-Arousal-Dominanceプロファイリングを用いて,LLM間での感情的フレーミングの差異について検討した。 感情的および反応行動的プロファイルによる19モデルすべてのウォードリンク後のクラスタリングでは、3つの行動的クラスタが生成される。 これらの結果から,VADプロファイリングは感情的フレーミングの次元である感情的強度を捉えており,従来の感情に基づく評価ではほとんど見えないことが示唆された。
  論文  参考訳（メタデータ） (2026-07-22T20:47:57Z)
• PLURAL: A Global Dataset for Value Alignment [22.242529854078708]
  大規模な言語モデル (LLM) は世界中で使われているが、西洋の価値観を不均等に反映し、多様な価値システムを表現する能力を制限する。 92カ国にまたがる全国的な調査であるIntegrated Values Survey (IVS)において,大規模で価値を重視した嗜好データセットであるPLURALを紹介した。 本研究では, 2段階生成パイプラインを用いて, 現実的なシナリオを生成しながら, 基準値信号を保存するために, サーベイ応答を合成選好三重項に変換する。
  論文  参考訳（メタデータ） (2026-07-09T01:18:17Z)
• Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias [0.0]
  実際に判断の検証は、偶然を正さず、系統的に差別能力を過度に過大評価する、正確な一致の合意に依存している。 MT-Bench, judgeBench, RewardBenchの9つのプロバイダから21人の審査員が, 118ラン以上の3つのプロトコル(アグリメント, 一貫性, バイアス監査)と約541,000の個人判定で評価された。
  論文  参考訳（メタデータ） (2026-06-17T19:37:13Z)
• Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
  GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。 モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
  論文  参考訳（メタデータ） (2026-04-14T15:06:13Z)
• The Global Representativeness Index: A Total Variation Distance Framework for Measuring Demographic Fidelity in Survey Research [0.0]
  調査研究は、AIガバナンスと異文化間政策における高い意思決定をますます通知する。 標準化されたメートル法は、サンプルの人口構成が対象の個体数とどの程度よく一致しているかを定量化するものではない。 本稿では,全変動距離に基づくGRI(Global Representativeness Index)を提案する。
  論文  参考訳（メタデータ） (2026-02-16T15:26:52Z)
• Are Aligned Large Language Models Still Misaligned? [13.062124372682106]
  Mis-Align Bench は、安全性、価値、文化的側面の相違を分析するための統一されたベンチマークである。 SAVACUは、112のドメイン(またはラベル)にまたがる382,424のミスアライメントデータセットである。
  論文  参考訳（メタデータ） (2026-02-11T19:30:43Z)
• Regional Bias in Large Language Models [0.0]
  大規模言語モデル(LLM)における地域バイアスは、AIの公平性とグローバルな表現において、新たな関心事となっている。 我々は、文脈的に中立なシナリオ下での領域間の強制選択決定を探索するプロンプトを用いて、10の著名なLCMを評価した。 FAZEは,地域バイアスを10点尺度で測定し,高いスコアは特定の地域を優先する傾向が強いことを示す。
  論文  参考訳（メタデータ） (2026-01-22T22:22:23Z)
• Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs [13.630995219491972]
  本稿では,アライメントモデルの代表性を評価するためのフレームワークを提案する。 2つのモデルステアリング手法を比較し,評価手法の価値を示す。 私たちは、代表性は価値アライメントの別の側面である、と結論付けます。
  論文  参考訳（メタデータ） (2026-01-22T08:45:55Z)
• Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
  視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。 我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
  論文  参考訳（メタデータ） (2025-10-13T01:12:21Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
  広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。 人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
  論文  参考訳（メタデータ） (2025-07-17T18:56:41Z)
• Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
  本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。 我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
  論文  参考訳（メタデータ） (2025-05-20T21:12:58Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。