論文の概要: OpenEthics: A Comprehensive Ethical Evaluation of Open-Source Generative Large Language Models

• arxiv url: http://arxiv.org/abs/2505.16036v1
• Date: Wed, 21 May 2025 21:31:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.922387
• Title: OpenEthics: A Comprehensive Ethical Evaluation of Open-Source Generative Large Language Models
• Title（参考訳）: OpenEthics: オープンソース生成型大規模言語モデルの包括的な倫理的評価
• Authors: Burak Erinç Çetin, Yıldırım Özen, Elif Naz Demiryılmaz, Kaan Engür, Cagri Toraman,
• Abstract要約: 生成可能な大規模言語モデルは大きな可能性を秘めているが、批判的な倫理的懸念も引き起こす。 我々は、新しいデータ収集を用いて、29のオープンソース大規模言語モデルの幅広い倫理的評価を行う。 我々は、一般的に使われている言語、英語、低リソース言語、トルコ語のモデル行動を分析する。
• 参考スコア（独自算出の注目度）: 1.9223856107206057
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative large language models present significant potential but also raise critical ethical concerns. Most studies focus on narrow ethical dimensions, and also limited diversity of languages and models. To address these gaps, we conduct a broad ethical evaluation of 29 recent open-source large language models using a novel data collection including four ethical aspects: Robustness, reliability, safety, and fairness. We analyze model behavior in both a commonly used language, English, and a low-resource language, Turkish. Our aim is to provide a comprehensive ethical assessment and guide safer model development by filling existing gaps in evaluation breadth, language coverage, and model diversity. Our experimental results, based on LLM-as-a-Judge, reveal that optimization efforts for many open-source models appear to have prioritized safety and fairness, and demonstrated good robustness while reliability remains a concern. We demonstrate that ethical evaluation can be effectively conducted independently of the language used. In addition, models with larger parameter counts tend to exhibit better ethical performance, with Gemma and Qwen models demonstrating the most ethical behavior among those evaluated.
• Abstract（参考訳）: 生成可能な大規模言語モデルは大きな可能性を秘めているが、批判的な倫理的懸念も引き起こす。 ほとんどの研究は、狭義の倫理的次元に焦点をあて、言語やモデルの多様性も限定している。 これらのギャップに対処するため、我々は、ロバスト性、信頼性、安全性、公正性の4つの倫理的側面を含む新しいデータ収集を用いて、29のオープンソース大規模言語モデルの幅広い倫理的評価を行う。 我々は、一般的に使われている言語、英語、低リソース言語、トルコ語のモデル行動を分析する。 本研究の目的は,評価範囲,言語カバレッジ,モデル多様性の既存のギャップを埋めることで,包括的倫理的評価とモデル開発をガイドすることである。 LLM-as-a-Judgeをベースとした実験結果から,多くのオープンソースモデルに対する最適化作業が安全性と公正性を優先し,信頼性が懸念される一方で,良好な堅牢性を示したことが判明した。 倫理的評価は使用言語とは独立して効果的に行うことができることを示す。 さらに、パラメータ数が大きいモデルはより良い倫理的性能を示す傾向があり、Gemma と Qwen のモデルは評価されたモデルの中で最も倫理的な振る舞いを示す。

関連論文リスト

• Towards Understanding the Safety Boundaries of DeepSeek Models: Evaluation and Findings [51.65890794988425]
  本研究は,DeepSeekモデルの最初の包括的安全性評価である。 評価対象は,DeepSeekの最新の大規模言語モデル,マルチモーダル大規模言語モデル,テキスト・ツー・イメージモデルである。
  論文  参考訳（メタデータ） (2025-03-19T10:44:37Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [49.60774626839712]
  マルチモーダル生成モデルは 彼らの公正さ、信頼性、そして誤用の可能性について 批判的な議論を呼んだ 組込み空間における摂動に対する応答を通じてモデルの信頼性を評価するための評価フレームワークを提案する。 本手法は, 信頼できない, バイアス注入されたモデルを検出し, バイアス前駆体の検索を行うための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Ethical-Lens: Curbing Malicious Usages of Open-Source Text-to-Image Models [51.69735366140249]
  我々はEthical-Lensというフレームワークを紹介した。 Ethical-Lensは、毒性とバイアス次元をまたいだテキストと画像のモデルにおける価値アライメントを保証する。 実験の結果、Ethical-Lensは商業モデルに匹敵するレベルまでアライメント能力を向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T11:38:25Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• TrustGPT: A Benchmark for Trustworthy and Responsible Large Language Models [19.159479032207155]
  大きな言語モデル(LLM)は、その印象的な自然言語処理能力によって大きな注目を集めている。 TrustGPTは、毒性、偏見、価値調整の3つの重要な領域におけるLCMの包括的な評価を提供する。 本研究の目的は、会話生成モデルの性能の理解を深め、より倫理的で社会的に責任のある言語モデルの開発を促進することである。
  論文  参考訳（メタデータ） (2023-06-20T12:53:39Z)
• Should ChatGPT be Biased? Challenges and Risks of Bias in Large Language Models [11.323961700172175]
  本稿では,ChatGPTのような大規模言語モデルにおけるバイアスに関連する課題とリスクについて考察する。 我々は、トレーニングデータの性質、モデル仕様、アルゴリズム制約、製品設計、ポリシー決定など、バイアスの起源について論じる。 私たちは、言語モデルにおけるバイアスを特定し、定量化し、緩和するための現在のアプローチをレビューし、より公平で透明で責任あるAIシステムを開発するための、多分野の協力的な取り組みの必要性を強調します。
  論文  参考訳（メタデータ） (2023-04-07T17:14:00Z)
• Democratizing Ethical Assessment of Natural Language Generation Models [0.0]
  自然言語生成モデル(英: natural language generation model)とは、単語の列を文脈として刺激するとコヒーレントな言語を生成するコンピュータシステムである。 ユビキティと多くの有益な応用にもかかわらず、言語生成モデルは社会に害を与える可能性がある。 したがって、これらのモデルの倫理的評価は重要である。 本稿では,自然言語生成モデルの倫理的評価を民主化し,標準化するための新しいツールを紹介する。
  論文  参考訳（メタデータ） (2022-06-30T12:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。