論文の概要: Assessing Socio-Cultural Alignment and Technical Safety of Sovereign LLMs

• arxiv url: http://arxiv.org/abs/2510.14565v1
• Date: Thu, 16 Oct 2025 11:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.828144
• Title: Assessing Socio-Cultural Alignment and Technical Safety of Sovereign LLMs
• Title（参考訳）: LLMの社会文化的アライメントと技術安全の評価
• Authors: Kyubyung Chae, Gihoon Kim, Gyuseong Lee, Taesup Kim, Jaejin Lee, Heejin Kim,
• Abstract要約: 主権 LLM に関する世界的な議論は、政府が独自の社会文化的・歴史的文脈に合わせて LLM を開発する必要性を強調している。 主権的LLMの社会的文化的要素を抽出・評価するための分析的枠組みを提案する。 低リソース言語をサポートする上で,主権的なLLMが重要な役割を担っている一方で,これらのモデルがターゲットユーザに提供するという一般的な主張を常に満たしている訳ではない。
• 参考スコア（独自算出の注目度）: 12.162590322796435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent trends in LLMs development clearly show growing interest in the use and application of sovereign LLMs. The global debate over sovereign LLMs highlights the need for governments to develop their LLMs, tailored to their unique socio-cultural and historical contexts. However, there remains a shortage of frameworks and datasets to verify two critical questions: (1) how well these models align with users' socio-cultural backgrounds, and (2) whether they maintain safety and technical robustness without exposing users to potential harms and risks. To address this gap, we construct a new dataset and introduce an analytic framework for extracting and evaluating the socio-cultural elements of sovereign LLMs, alongside assessments of their technical robustness. Our experimental results demonstrate that while sovereign LLMs play a meaningful role in supporting low-resource languages, they do not always meet the popular claim that these models serve their target users well. We also show that pursuing this untested claim may lead to underestimating critical quality attributes such as safety. Our study suggests that advancing sovereign LLMs requires a more extensive evaluation that incorporates a broader range of well-grounded and practical criteria.
• Abstract（参考訳）: 近年のLLM開発動向は、主権的なLLMの使用と適用に対する関心が高まりつつあることを示している。 主権 LLM に関する世界的な議論は、独自の社会的・文化的・歴史的文脈に合わせて、政府による LLM の開発の必要性を強調している。 しかしながら,(1)これらのモデルがユーザの社会文化的背景とどの程度一致しているか,(2)ユーザを潜在的な害やリスクに晒すことなく,安全性と技術的堅牢性を維持するか,という2つの重要な問題を検証するためのフレームワークやデータセットが不足している。 このギャップに対処するために、我々は、新しいデータセットを構築し、その技術的堅牢性の評価とともに、主権 LLM の社会的文化的要素を抽出し、評価するための分析フレームワークを導入する。 実験結果から,LLMは低リソース言語をサポートする上で重要な役割を担っているが,これらのモデルがターゲットユーザに対して有効である,という主張を常に満たしている訳ではない。 また、この未検証の主張を追求すると、安全性などの重要な品質特性が過小評価される可能性があることも示している。 本研究は,LLMの進歩にはより広範な評価が必要であることを示唆する。

関連論文リスト

• A Survey on Responsible LLMs: Inherent Risk, Malicious Use, and Mitigation Strategy [31.839815402460918]
  大規模言語モデル(LLM)は、多くの現実世界のアプリケーションをサポートする大きな可能性を秘めている。 プライバシー漏洩のリスク、幻覚的なアウトプット、そして価値のミスアライメントといった点で、彼らは依然として重大な課題に直面している。
  論文  参考訳（メタデータ） (2025-01-16T09:59:45Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
  我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。 我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
  論文  参考訳（メタデータ） (2024-04-10T00:25:09Z)
• Evaluating Large Language Models: A Comprehensive Survey [41.64914110226901]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な能力を示している。 プライベートなデータ漏洩に悩まされたり、不適切で有害なコンテンツや誤解を招く可能性がある。 LLMのキャパシティを効果的に活用し、その安全で有益な開発を確保するためには、厳密で包括的な評価を行うことが不可欠である。
  論文  参考訳（メタデータ） (2023-10-30T17:00:52Z)
• She had Cobalt Blue Eyes: Prompt Testing to Create Aligned and Sustainable Language Models [2.6089354079273512]
  最近の出来事は、従来の訓練された大規模言語モデル(LLM)に関する倫理的懸念を示している 公平で安全で堅牢なLCMの開発を促進するための一連のプロンプトを紹介します。 テストスイートは、GPT-3.5, GPT-4, OPT, LLaMA-2の4つの最先端言語モデルの出力を評価する。
  論文  参考訳（メタデータ） (2023-10-20T14:18:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。