論文の概要: JETHICS: Japanese Ethics Understanding Evaluation Dataset

• arxiv url: http://arxiv.org/abs/2506.16187v1
• Date: Thu, 19 Jun 2025 10:06:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.026085
• Title: JETHICS: Japanese Ethics Understanding Evaluation Dataset
• Title（参考訳）: JETHICS: 評価データセットの日本人倫理
• Authors: Masashi Takeshita, Rafal Rzepka,
• Abstract要約: JETHICSは、AIモデルの倫理的理解を評価するための日本のデータセットである。 78Kのサンプルを含み、既存の英語ETHICSデータセットの構築方法に従って構築されている。 非プロプライエタリな大規模言語モデル (LLMs) と GPT-4o を用いた評価実験の結果, GPT-4o でさえ平均スコアが 0.7 であることがわかった。
• 参考スコア（独自算出の注目度）: 3.1077024712075794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose JETHICS, a Japanese dataset for evaluating ethics understanding of AI models. JETHICS contains 78K examples and is built by following the construction methods of the existing English ETHICS dataset. It includes four categories based normative theories and concepts from ethics and political philosophy; and one representing commonsense morality. Our evaluation experiments on non-proprietary large language models (LLMs) and on GPT-4o reveal that even GPT-4o achieves only an average score of about 0.7, while the best-performing Japanese LLM attains around 0.5, indicating a relatively large room for improvement in current LLMs.
• Abstract（参考訳）: 本研究では,AIモデルの倫理的理解を評価するための日本語データセットであるJETHICSを提案する。 JETHICSには78Kのサンプルがあり、既存の英語ETHICSデータセットの構築方法に従って構築されている。 倫理学と政治哲学の規範的理論と概念に基づく4つのカテゴリーと、常識的道徳を表わすものが含まれる。 GPT-4oでは,GPT-4oでも平均スコアが約0.7であり,日本語LLMでは0.5程度であり,現在のLLMでは比較的大きな改善の余地があることが判明した。

関連論文リスト

• Extended Japanese Commonsense Morality Dataset with Masked Token and Label Enhancement [2.6968321526169503]
  JCommonsenseMoralityデータセットを拡張した。 拡張JCMは13,975文から31,184文に成長した。 日本文化特有の複雑な道徳的推論課題において,eJCMで訓練したモデルの性能は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-12T15:21:40Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Rapidly Developing High-quality Instruction Data and Evaluation Benchmark for Large Language Models with Minimal Human Effort: A Case Study on Japanese [36.3163608701382]
  GPT-4に基づく効率的な自己指示法を提案する。 まず、少量の英語の指示を日本語に翻訳し、それを後編集して、ネイティブレベルの品質を得る。 GPT-4はそれらをデモとして利用し、日本語の命令データを自動的に生成する。
  論文  参考訳（メタデータ） (2024-03-06T13:17:07Z)
• KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge [23.24277210427649]
  KorNATは韓国と国家の整合性を測定する最初のベンチマークである。 社会価値データセットについて,6,174人の韓国人参加者を対象とした大規模調査から,基礎的真理ラベルを得た。 共通知識データセットについて,韓国の教科書とGED参照資料に基づくサンプルを構築した。
  論文  参考訳（メタデータ） (2024-02-21T08:12:26Z)
• Unpacking the Ethical Value Alignment in Big Models [46.560886177083084]
  本稿では,ビッグモデルに関連するリスクと課題の概要,既存のAI倫理ガイドラインを調査し,これらのモデルの限界から生じる倫理的影響について考察する。 本稿では,大規模モデルの倫理的価値を整合させる新しい概念パラダイムを導入し,アライメント基準,評価,方法に関する有望な研究方向性について議論する。
  論文  参考訳（メタデータ） (2023-10-26T16:45:40Z)
• EALM: Introducing Multidimensional Ethical Alignment in Conversational Information Retrieval [43.72331337131317]
  我々は、倫理的アライメントを、効率的なデータスクリーニングのための初期倫理的判断段階と統合するワークフローを導入する。 本稿では,ETHICSベンチマークから適応したQA-ETHICSデータセットについて述べる。 さらに,二項および多ラベルの倫理的判断タスクにおいて,最高の性能を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T08:22:34Z)
• An Evaluation of GPT-4 on the ETHICS Dataset [0.0]
  本報告では,ETHICSデータセット上でのGPT-4の性能について概説する。 ETHICSデータセットは、異なる倫理分野をカバーする5つのサブデータセットで構成されている。 GPT-4のパフォーマンスは以前のモデルよりもはるかに優れており、共通の人間の価値を扱うことを学ぶことがAI倫理の難しい問題ではないことを示唆している。
  論文  参考訳（メタデータ） (2023-09-19T10:01:50Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)
• The GEM Benchmark: Natural Language Generation, its Evaluation and Metrics [66.96150429230035]
  我々は、自然言語生成(NLG)のための生きたベンチマークであるGEM、その評価、およびメトリクスを紹介する。 ベンチマークの定期的なアップデートにより、NLGの研究はより多言語化され、モデルとともに課題を進化させる。
  論文  参考訳（メタデータ） (2021-02-02T18:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。