Fugu-MT 論文翻訳(概要): A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities

論文の概要: A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities

arxiv url: http://arxiv.org/abs/2605.29340v1
Date: Thu, 28 May 2026 04:21:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-30 02:45:55.729671
Title: A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities
Title（参考訳）: 違法行為に着目したLCM安全性評価のための質問応答データセットの検討
Abstract要約: 安全評価のための質問応答データセットについて,違法行為に着目して論じる。本研究の結果は「JAI-Trust」プロジェクトと共有することを目的としている。
参考スコア（独自算出の注目度）: 0.9940728137241212
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we discuss question-answer dataset for LLM safety evaluation, with a focus on illegal activities. Specifically, on the basis of manual analysis of AnswerCarefully, we introduce several additional information, methods for creating question-answer examples, and a rubric for evaluating LLM-generated responses. The outcomes of this study are intended to be shared with the "JAI-Trust" project.
Abstract（参考訳）: 本稿では,LLMの安全性評価のための質問応答データセットについて論じ,違法行為に着目した。具体的には、AnswerCarefullyのマニュアル分析に基づいて、いくつかの追加情報、質問応答例を作成する方法、LCM生成応答を評価するルーリックを紹介する。本研究の結果は「JAI-Trust」プロジェクトと共有することを目的としている。

関連論文リスト

The Scales of Justitia: A Comprehensive Survey on Safety Evaluation of LLMs [57.1838332916627]
大規模言語モデル(LLM)は自然言語処理(NLP)において顕著な能力を示している。広範囲に展開したことにより、大きな安全上の懸念がもたらされた。 LLMの生成したコンテンツは、特に敵の文脈において、毒性、偏見、誤情報などの安全でない振る舞いを示す。
論文参考訳（メタデータ） (2025-06-06T05:50:50Z)
AnswerCarefully: A Dataset for Improving the Safety of Japanese LLM Output [5.89796352937863]
本稿では,日本のLLM出力の安全性と適切性を促進するデータセットAnswerCarefullyを提案する。データセットは1,800対の質問と参照された回答で構成されており、回答には特別な注意が必要である。このデータセットを用いて日本語LLMを微調整することで,一般応答の有用性を損なうことなく,出力安全性が向上したことを示す。
論文参考訳（メタデータ） (2025-06-03T02:18:59Z)
A Survey of Safety on Large Vision-Language Models: Attacks, Defenses and Evaluations [127.52707312573791]
この調査はLVLMの安全性を包括的に分析し、攻撃、防御、評価方法などの重要な側面をカバーする。我々はこれらの相互関連コンポーネントを統合する統一フレームワークを導入し、LVLMの脆弱性を概観する。我々は,最新のLVLMであるDeepseek Janus-Pro上で一連の安全性評価を行い,その結果を理論的に分析する。
論文参考訳（メタデータ） (2025-02-14T08:42:43Z)
Exploring LLMs for Automated Generation and Adaptation of Questionnaires [41.34785468969536]
本研究は, アンケートの生成と適応を支援するLLMの適合性に着目した。我々は,LLMを活用して新しいアンケートを作成し,対象読者と事前試験を行い,潜在的な問題を特定し,異なる状況における既存の標準アンケートに適応する,新しいパイプラインを提案する。以上の結果から, LLM 文の明瞭化, LLM 文の明瞭化, LLM 文の具体化, LLM 文の適応化, 従来のテキストよりも若干明確でバイアスの少ない質問に対する回答が得られた。
論文参考訳（メタデータ） (2025-01-10T14:17:48Z)
Can LLMs Ask Good Questions? [45.54763954234726]
大規模言語モデル(LLM)が生成する質問を文脈から評価する。質問タイプ,質問長,コンテキストカバレッジ,回答可能性,不共通性,必要な回答長の6つの次元にわたる人間による質問と比較した。
論文参考訳（メタデータ） (2025-01-07T03:21:17Z)
LLM-as-an-Interviewer: Beyond Static Testing Through Dynamic LLM Evaluation [24.103034843158717]
LLM-as-an-Interviewerは,大規模言語モデル(LLM)を評価するための新しいパラダイムである。このアプローチはマルチターンインタラクションを活用し、インタビュアーは応答に対するフィードバックを積極的に提供し、評価されたLCMにフォローアップ質問を提示する。このフレームワークを用いてMATHとDepthQAタスクの6つのモデルを評価する。
論文参考訳（メタデータ） (2024-12-10T15:00:32Z)
LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文参考訳（メタデータ） (2024-08-23T01:37:29Z)
DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文参考訳（メタデータ） (2024-05-24T08:12:30Z)
CPSDBench: A Large Language Model Evaluation Benchmark and Baseline for Chinese Public Security Domain [21.825274494004983]
本研究は,中国の公安ドメインであるCPSDbenchに合わせた,特別な評価ベンチマークを構築することを目的とする。 CPSDbenchは、現実世界のシナリオから収集されたパブリックセキュリティに関連するデータセットを統合する。本研究では,公共の安全に関わるタスクの実行において,LLMの有効性をより正確に定量化するための,革新的な評価指標を提案する。
論文参考訳（メタデータ） (2024-02-11T15:56:03Z)
Breaking the Silence: the Threats of Using LLMs in Software Engineering [12.368546216271382]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)コミュニティ内で大きな注目を集めています。本稿では,LSMに基づく研究の有効性に対する潜在的な脅威について,オープンな議論を開始する。
論文参考訳（メタデータ） (2023-12-13T11:02:19Z)
Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。本稿では,文書を動的に活用するための簡易な手法を提案する。
論文参考訳（メタデータ） (2023-07-20T16:46:10Z)
A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文参考訳（メタデータ） (2023-07-06T16:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。