論文の概要: ABench: Adversarily Benchmarking Large Language Models across Taxonomized Values

• arxiv url: http://arxiv.org/abs/2610.27611v1
• Date: Tue, 20 Oct 2026 04:23:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.632308
• Title: ABench: Adversarily Benchmarking Large Language Models across Taxonomized Values
• Title（参考訳）: ABench: 分類された価値にまたがって大規模言語モデルを逆行的にベンチマークする
• Abstract要約: ABench(アベンチ)は、中国語で分類された値に特化された細粒で手作りのベンチマークである。 そこで本研究では,質問特化評価基準を用いた重み付き自動評価フレームワークを提案する。 我々のデータは、分類された価値アライメントに関するさらなる研究を促進するために公開されます。
• 参考スコア（独自算出の注目度）: 51.94609070642854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensuring the alignment of Large Language Models (LLMs) with diverse cultural values is critical for their safe global deployment. However, existing alignment benchmarks are predominantly English-centric or confined to simple discriminative tasks. Moreover, they often fail to effectively evaluate model robustness against complex, adversarial inductions within specific cultural contexts. To address these limitations, we propose ABench, a fine-grained, handcrafted benchmark specifically tailored to taxonomized values in Chinese. Grounded in a rigorous hierarchical taxonomy comprising 158 derived value subcategories, ABench consists of 2,895 open-ended questions. These questions employ techniques such as role-playing and logical traps to probe the stability of models' stances in adversarially induced contexts. Furthermore, we propose a weighted automated evaluation framework that utilizes question-specific scoring criteria for nuanced assessment. Extensive experiments on 16 mainstream LLMs reveal that most models exhibit significant vulnerabilities when subjected to sophisticated adversary attacks on values (scoring below 60). This underscores the need for more robust, culturally specific alignment strategies. Our data will be publicly released to promote further research on taxonomized value alignment.
• Abstract（参考訳）: 大きな言語モデル(LLM)と多様な文化的価値の整合性を確保することは、彼らの安全なグローバル展開にとって重要である。 しかし、既存のアライメントベンチマークは主に英語中心または単純な識別タスクに限られている。 さらに、特定の文化的文脈における複雑な敵対的誘導に対するモデルロバストネスを効果的に評価することができないこともしばしばある。 これらの制限に対処するため、中国語で分類された値に特化して、細粒度で手作りのベンチマークであるABenchを提案する。 ABenchは、158の派生値サブカテゴリからなる厳密な階層的な分類において、オープンエンドの2,895の質問からなる。 これらの質問はロールプレイングや論理トラップのような手法を用いて、敵対的に誘発された文脈におけるモデルの姿勢の安定性を探索する。 さらに,質問特化評価基準を用いた重み付き自動評価フレームワークを提案する。 16基のLLMの大規模な実験により、ほとんどのモデルは、(60未満の)値に対する高度な敵攻撃を受けると、重大な脆弱性を示すことが明らかとなった。 これにより、より堅牢で文化的に特定のアライメント戦略の必要性が浮き彫りになる。 我々のデータは、分類された価値アライメントに関するさらなる研究を促進するために公開されます。

関連論文リスト

• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
  異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。 比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。 最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
  論文  参考訳（メタデータ） (2026-06-23T13:53:50Z)
• Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
  GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。 モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
  論文  参考訳（メタデータ） (2026-04-14T15:06:13Z)
• Adversarial Alignment: Ensuring Value Consistency in Large Language Models for Sensitive Domains [9.949435875140523]
  本稿では,モデルの価値整合性を高める逆アライメントフレームワークを提案する。 敵のトレーニングでは、アタッカーを使って議論を呼んでいるクエリを生成し、アクターは値整合性でレスポンスを生成し、Criticはレスポンスの品質をフィルタリングし、保証します。 実験の結果,VC-LLMは中国語と英語の両方のテストにおいて,既存の主流モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-01-19T15:21:26Z)
• Benchmarking Multi-National Value Alignment for Large Language Models [23.378701093426546]
  大規模言語モデルと5つの主要国の値の整合性を評価するためのベンチマークであるNaVABを紹介する。 NaVABは、価値評価データセットを効率的に構築するための国家価値抽出パイプラインを実装している。 各国の様々なLCMについて広範な実験を行い、その結果、不整合シナリオの識別支援に関する知見を提供する。
  論文  参考訳（メタデータ） (2025-04-17T13:01:38Z)
• LocalValueBench: A Collaboratively Built and Extensible Benchmark for Evaluating Localized Value Alignment and Ethical Safety in Large Language Models [0.0]
  大規模言語モデル(LLM)の普及は、その局所的価値や倫理的基準との整合性をしっかりと評価する必要がある。 textscLocalValueBenchは、LLMがオーストラリアの値に準拠していることを評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2024-07-27T05:55:42Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。