論文の概要: EU-Agent-Bench: Measuring Illegal Behavior of LLM Agents Under EU Law

• arxiv url: http://arxiv.org/abs/2510.21524v1
• Date: Fri, 24 Oct 2025 14:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.511079
• Title: EU-Agent-Bench: Measuring Illegal Behavior of LLM Agents Under EU Law
• Title（参考訳）: EU-Agent-Bench:EU法の下でのLLMエージェントの違法行為の測定
• Authors: Ilija Lichkovski, Alexander Müller, Mariam Ibrahim, Tiwai Mhundwa,
• Abstract要約: EU-Agent-Benchは、EUの法規範とエージェントの整合性を評価する検証可能なベンチマークである。 私たちのベンチマークは、データ保護、バイアス/差別、科学的完全性など、さまざまなカテゴリのシナリオにまたがっています。 我々は、データ汚染を防ぐためのプライベートテストセットを公開し、研究コミュニティ向けのパブリックプレビューセットをリリースする。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed as agents in various contexts by providing tools at their disposal. However, LLM agents can exhibit unpredictable behaviors, including taking undesirable and/or unsafe actions. In order to measure the latent propensity of LLM agents for taking illegal actions under an EU legislative context, we introduce EU-Agent-Bench, a verifiable human-curated benchmark that evaluates an agent's alignment with EU legal norms in situations where benign user inputs could lead to unlawful actions. Our benchmark spans scenarios across several categories, including data protection, bias/discrimination, and scientific integrity, with each user request allowing for both compliant and non-compliant execution of the requested actions. Comparing the model's function calls against a rubric exhaustively supported by citations of the relevant legislature, we evaluate the legal compliance of frontier LLMs, and furthermore investigate the compliance effect of providing the relevant legislative excerpts in the agent's system prompt along with explicit instructions to comply. We release a public preview set for the research community, while holding out a private test set to prevent data contamination in evaluating upcoming models. We encourage future work extending agentic safety benchmarks to different legal jurisdictions and to multi-turn and multilingual interactions. We release our code on \href{https://github.com/ilijalichkovski/eu-agent-bench}{this URL}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなコンテキストにおいて、その処理にツールを提供することによって、エージェントとしてデプロイされることが増えている。 しかし、LSMエージェントは、望ましくない行動や安全でない行動を含む予測不可能な行動を示すことができる。 LLMエージェントがEUの法律的文脈下で違法な行動を取るための潜伏した妥当性を測定するために、EU-Agent-Benchを紹介します。これは、不当なユーザー入力が違法な行為につながる可能性のある状況において、エージェントがEUの法規範と整合性を評価する検証可能な人為的なベンチマークです。 我々のベンチマークは、データ保護、バイアス/差別、科学的完全性など、いくつかのカテゴリにまたがるシナリオにまたがっており、各ユーザ要求は、要求されたアクションのコンプライアンスと非コンプライアンスの両方を実行することができる。 関係立法の引用によって徹底的に支持されたルーブリックに対するモデル機能呼び出しを比較し,フロンティアの法的遵守を評価し,さらに,エージェントのシステムに関連する法令の抜粋を提供することによるコンプライアンス効果を,従うための明示的な指示とともに検討した。 我々は,今後のモデルの評価において,データの汚染を防止するためのプライベートテストセットを公開して,研究コミュニティ向けのパブリックプレビューセットをリリースする。 我々は、エージェント安全性ベンチマークを異なる司法管轄区域に拡張し、マルチターンおよび多言語インタラクションに拡張することを推奨する。 当社のコードは \href{https://github.com/ilijalichkovski/eu-agent-bench}{this URL} でリリースしています。

関連論文リスト

• Universal Legal Article Prediction via Tight Collaboration between Supervised Classification Model and LLM [42.11889345473452]
  法律記事予測(LAP)は、法的テキスト分類において重要な課題である。 法律記事予測のための普遍的な枠組みであるUni-LAPを提案する。
  論文  参考訳（メタデータ） (2025-09-26T09:42:20Z)
• SAND: Boosting LLM Agents with Self-Taught Action Deliberation [54.48979740613828]
  大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。 本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。 SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
  論文  参考訳（メタデータ） (2025-07-10T05:38:15Z)
• AUTOLAW: Enhancing Legal Compliance in Large Language Models via Case Law Generation and Jury-Inspired Deliberation [5.732271982985626]
  AutoLawは、ドメイン固有の大規模言語モデル(LLM)のための新しい違反検出フレームワークである。 LLMの法的コンプライアンスを強化するために、敵対的なデータ生成と陪審に触発された審議プロセスを組み合わせる。 本研究は, 法的不一致を適応的に調査し, 信頼性の高い文脈対応の判断を下すフレームワークの能力を強調した。
  論文  参考訳（メタデータ） (2025-05-20T07:09:13Z)
• Multi-Agent Simulator Drives Language Models for Legal Intensive Interaction [37.856194200684364]
  本稿では,対話型法シナリオをシミュレートして合成データを生成するマルチエージェント法定シミュレーションドライバ(MASER)を提案する。 MASERは参加者間の法的属性の整合性を確保し、参加者の性格や行動を調整するための監督機構を導入する。
  論文  参考訳（メタデータ） (2025-02-08T15:05:24Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• ALI-Agent: Assessing LLMs' Alignment with Human Values via Agent-based Evaluation [48.54271457765236]
  大規模言語モデル(LLM)は、人間の価値観と不一致した場合、意図しない、有害なコンテンツも引き出すことができる。 現在の評価ベンチマークでは、LLMが人的価値とどの程度うまく一致しているかを評価するために、専門家が設計した文脈シナリオが採用されている。 本研究では, LLM エージェントの自律的能力を活用し, 奥行き及び適応的アライメント評価を行う評価フレームワーク ALI-Agent を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。