論文の概要: AdAEM: An Adaptively and Automated Extensible Measurement of LLMs' Value Difference

• arxiv url: http://arxiv.org/abs/2505.13531v1
• Date: Sun, 18 May 2025 09:15:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.373169
• Title: AdAEM: An Adaptively and Automated Extensible Measurement of LLMs' Value Difference
• Title（参考訳）: AdAEM: LLMの値差を適応的かつ自動で計測する
• Authors: Shitong Duan, Xiaoyuan Yi, Peng Zhang, Dongkuan Xu, Jing Yao, Tun Lu, Ning Gu, Xing Xie,
• Abstract要約: AdAEMは、LSMの傾きを明らかにするための、新しい、自己拡張可能なアセスメントフレームワークである。 テストの質問を自動的に、適応的に生成し、拡張することができます。 シュワルツ値理論に基づく12,310の質問を生成し,提案手法の有効性と有効性を示す分析を行い,16 LLMの値をベンチマークする。
• 参考スコア（独自算出の注目度）: 43.168803869385066
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Assessing Large Language Models (LLMs)' underlying value differences enables comprehensive comparison of their misalignment, cultural adaptability, and biases. Nevertheless, current value measurement datasets face the informativeness challenge: with often outdated, contaminated, or generic test questions, they can only capture the shared value orientations among different LLMs, leading to saturated and thus uninformative results. To address this problem, we introduce AdAEM, a novel, self-extensible assessment framework for revealing LLMs' inclinations. Distinct from previous static benchmarks, AdAEM can automatically and adaptively generate and extend its test questions. This is achieved by probing the internal value boundaries of a diverse set of LLMs developed across cultures and time periods in an in-context optimization manner. The optimization process theoretically maximizes an information-theoretic objective to extract the latest or culturally controversial topics, providing more distinguishable and informative insights about models' value differences. In this way, AdAEM is able to co-evolve with the development of LLMs, consistently tracking their value dynamics. Using AdAEM, we generate 12,310 questions grounded in Schwartz Value Theory, conduct an extensive analysis to manifest our method's validity and effectiveness, and benchmark the values of 16 LLMs, laying the groundwork for better value research.
• Abstract（参考訳）: LLM(Large Language Models)の根底にある価値差を評価することは、その不一致、文化的適応性、バイアスの包括的な比較を可能にする。 しかし、現在の値測定データセットは、しばしば時代遅れ、汚染された、あるいは一般的なテストの質問によって、異なるLLM間で共有される値の向きのみを捉えることができ、飽和で非形式的な結果をもたらす。 本稿では,LLMの傾きを明らかにするための自己拡張性評価フレームワークAdAEMを紹介する。 以前の静的ベンチマークとは違い、AdAEMは自動かつ適応的にテスト質問を生成し、拡張することができる。 これは、文脈内最適化方式で、文化や時間にまたがって開発された多様なLLMの内部値境界を探索することによって達成される。 最適化プロセスは理論上、最新のあるいは文化的に議論の的になっているトピックを抽出する情報理論の目的を最大化し、モデルの価値差についてより識別可能で情報的な洞察を提供する。 このようにして、AdAEMはLLMの開発と共同開発することができ、その価値のダイナミクスを一貫して追跡することができる。 本稿では,AdAEMを用いてシュワルツ値理論を基礎とした12,310の質問を生成し,提案手法の有効性と妥当性を明らかにするとともに,16個のLLM値のベンチマークを行い,より優れた価値研究の基盤となる。

関連論文リスト

• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• CLAVE: An Adaptive Framework for Evaluating Values of LLM Generated Responses [34.77031649891843]
  CLAVEは2つの補完的なLarge Language Model(LLM)を統合する新しいフレームワークである。 このデュアルモデルアプローチは、値タイプ当たり100個の人ラベルサンプルを使用して、任意の値システムでキャリブレーションを可能にする。 ValEvalは13k+(text,value,label)12+を多種多様なドメインで構成し、3つの主要なバリューシステムをカバーする包括的データセットである。
  論文  参考訳（メタデータ） (2024-07-15T13:51:37Z)
• Raising the Bar: Investigating the Values of Large Language Models via Generative Evolving Testing [39.6507632134755]
  本稿では,測定理論における適応試験法に基づく新しい生成的進化試験手法であるGAAを提案する。 GETAはモデル能力に適したテスト項目を動的に生成することで、LLMの根底にある道徳的境界を探索する。 GETAは、アイテムの難易度とモデル値の整合性の連成分布を学習することでLLMと共進化する。
  論文  参考訳（メタデータ） (2024-06-20T11:51:00Z)
• Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
  本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。 語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。 我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-04-19T09:44:51Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。