論文の概要: A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities
- arxiv url: http://arxiv.org/abs/2605.29340v1
- Date: Thu, 28 May 2026 04:21:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.729671
- Title: A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities
- Title（参考訳）: 違法行為に着目したLCM安全性評価のための質問応答データセットの検討
- Authors: Kenji Imamura, Masao Ideuchi, Atsushi Fujita,
- Abstract要約: 安全評価のための質問応答データセットについて,違法行為に着目して論じる。
本研究の結果は「JAI-Trust」プロジェクトと共有することを目的としている。
- 参考スコア（独自算出の注目度）: 0.9940728137241212
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we discuss question-answer dataset for LLM safety evaluation, with a focus on illegal activities. Specifically, on the basis of manual analysis of AnswerCarefully, we introduce several additional information, methods for creating question-answer examples, and a rubric for evaluating LLM-generated responses. The outcomes of this study are intended to be shared with the "JAI-Trust" project.
- Abstract（参考訳）: 本稿では,LLMの安全性評価のための質問応答データセットについて論じ,違法行為に着目した。
具体的には、AnswerCarefullyのマニュアル分析に基づいて、いくつかの追加情報、質問応答例を作成する方法、LCM生成応答を評価するルーリックを紹介する。
本研究の結果は「JAI-Trust」プロジェクトと共有することを目的としている。
関連論文リスト
- Can LLMs Ask Good Questions? [45.54763954234726]
大規模言語モデル(LLM)が生成する質問を文脈から評価する。
質問タイプ,質問長,コンテキストカバレッジ,回答可能性,不共通性,必要な回答長の6つの次元にわたる人間による質問と比較した。
論文 参考訳（メタデータ） (2025-01-07T03:21:17Z) - LLM-as-an-Interviewer: Beyond Static Testing Through Dynamic LLM Evaluation [24.103034843158717]
LLM-as-an-Interviewerは,大規模言語モデル(LLM)を評価するための新しいパラダイムである。
このアプローチはマルチターンインタラクションを活用し、インタビュアーは応答に対するフィードバックを積極的に提供し、評価されたLCMにフォローアップ質問を提示する。
このフレームワークを用いてMATHとDepthQAタスクの6つのモデルを評価する。
論文 参考訳（メタデータ） (2024-12-10T15:00:32Z) - CPSDBench: A Large Language Model Evaluation Benchmark and Baseline for Chinese Public Security Domain [21.825274494004983]
本研究は,中国の公安ドメインであるCPSDbenchに合わせた,特別な評価ベンチマークを構築することを目的とする。
CPSDbenchは、現実世界のシナリオから収集されたパブリックセキュリティに関連するデータセットを統合する。
本研究では,公共の安全に関わるタスクの実行において,LLMの有効性をより正確に定量化するための,革新的な評価指標を提案する。
論文 参考訳（メタデータ） (2024-02-11T15:56:03Z) - A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。
本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文 参考訳（メタデータ） (2023-07-06T16:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。