論文の概要: EU-Agent-Bench: Measuring Illegal Behavior of LLM Agents Under EU Law
- arxiv url: http://arxiv.org/abs/2510.21524v1
- Date: Fri, 24 Oct 2025 14:48:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 09:00:15.511079
- Title: EU-Agent-Bench: Measuring Illegal Behavior of LLM Agents Under EU Law
- Title（参考訳）: EU-Agent-Bench:EU法の下でのLLMエージェントの違法行為の測定
- Authors: Ilija Lichkovski, Alexander Müller, Mariam Ibrahim, Tiwai Mhundwa,
- Abstract要約: EU-Agent-Benchは、EUの法規範とエージェントの整合性を評価する検証可能なベンチマークである。
私たちのベンチマークは、データ保護、バイアス/差別、科学的完全性など、さまざまなカテゴリのシナリオにまたがっています。
我々は、データ汚染を防ぐためのプライベートテストセットを公開し、研究コミュニティ向けのパブリックプレビューセットをリリースする。
- 参考スコア（独自算出の注目度）: 39.146761527401424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed as agents in various contexts by providing tools at their disposal. However, LLM agents can exhibit unpredictable behaviors, including taking undesirable and/or unsafe actions. In order to measure the latent propensity of LLM agents for taking illegal actions under an EU legislative context, we introduce EU-Agent-Bench, a verifiable human-curated benchmark that evaluates an agent's alignment with EU legal norms in situations where benign user inputs could lead to unlawful actions. Our benchmark spans scenarios across several categories, including data protection, bias/discrimination, and scientific integrity, with each user request allowing for both compliant and non-compliant execution of the requested actions. Comparing the model's function calls against a rubric exhaustively supported by citations of the relevant legislature, we evaluate the legal compliance of frontier LLMs, and furthermore investigate the compliance effect of providing the relevant legislative excerpts in the agent's system prompt along with explicit instructions to comply. We release a public preview set for the research community, while holding out a private test set to prevent data contamination in evaluating upcoming models. We encourage future work extending agentic safety benchmarks to different legal jurisdictions and to multi-turn and multilingual interactions. We release our code on \href{https://github.com/ilijalichkovski/eu-agent-bench}{this URL}.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなコンテキストにおいて、その処理にツールを提供することによって、エージェントとしてデプロイされることが増えている。
しかし、LSMエージェントは、望ましくない行動や安全でない行動を含む予測不可能な行動を示すことができる。
LLMエージェントがEUの法律的文脈下で違法な行動を取るための潜伏した妥当性を測定するために、EU-Agent-Benchを紹介します。これは、不当なユーザー入力が違法な行為につながる可能性のある状況において、エージェントがEUの法規範と整合性を評価する検証可能な人為的なベンチマークです。
我々のベンチマークは、データ保護、バイアス/差別、科学的完全性など、いくつかのカテゴリにまたがるシナリオにまたがっており、各ユーザ要求は、要求されたアクションのコンプライアンスと非コンプライアンスの両方を実行することができる。
関係立法の引用によって徹底的に支持されたルーブリックに対するモデル機能呼び出しを比較し,フロンティアの法的遵守を評価し,さらに,エージェントのシステムに関連する法令の抜粋を提供することによるコンプライアンス効果を,従うための明示的な指示とともに検討した。
我々は,今後のモデルの評価において,データの汚染を防止するためのプライベートテストセットを公開して,研究コミュニティ向けのパブリックプレビューセットをリリースする。
我々は、エージェント安全性ベンチマークを異なる司法管轄区域に拡張し、マルチターンおよび多言語インタラクションに拡張することを推奨する。
当社のコードは \href{https://github.com/ilijalichkovski/eu-agent-bench}{this URL} でリリースしています。
関連論文リスト
- Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z) - Evaluating Generalization Capabilities of LLM-Based Agents in Mixed-Motive Scenarios Using Concordia [100.74015791021044]
大規模言語モデル(LLM)エージェントは、社会的相互作用の素晴らしい能力を実証している。
既存の評価手法は、これらの能力がいかに新しい社会的状況に一般化するかを測ることに失敗する。
我々は,NeurIPS 2024 Concordia Contestで,エージェントが相互利得を達成する能力について評価した経験的結果を示す。
論文 参考訳（メタデータ） (2025-12-03T00:11:05Z) - Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts [54.15982476754607]
大規模言語モデル(LLM)が前例のない規模に展開され、毎日のタスクで数百万のユーザを支援している。
本研究は、複雑なファシリテーションを、不正なユーザ指示を可能にするガイダンスやサポートの提供として定義する。
実世界の訴訟と確立された法的枠組みを用いて、269件の違法なシナリオと50件の違法な意図にまたがる評価ベンチマークを構築した。
論文 参考訳（メタデータ） (2025-11-25T16:01:31Z) - Universal Legal Article Prediction via Tight Collaboration between Supervised Classification Model and LLM [42.11889345473452]
法律記事予測(LAP)は、法的テキスト分類において重要な課題である。
法律記事予測のための普遍的な枠組みであるUni-LAPを提案する。
論文 参考訳（メタデータ） (2025-09-26T09:42:20Z) - SAND: Boosting LLM Agents with Self-Taught Action Deliberation [54.48979740613828]
大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。
本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。
SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
論文 参考訳（メタデータ） (2025-07-10T05:38:15Z) - LLMs for Legal Subsumption in German Employment Contracts [3.3916160303055567]
本研究では,ドイツの雇用契約における節の合法性を評価するために,大規模言語モデルと文脈内学習の利用について検討する。
我々の研究は、異なるLLMが3つの法的文脈変化の下で、節を「無効」、「不公平」、または「ボイド」に分類する能力を評価する。
その結果,全文ソースでは性能が適度に向上し,検査ガイドラインでは空白節のリコールや重み付きF1スコアが80%に向上した。
論文 参考訳（メタデータ） (2025-07-02T14:07:54Z) - AUTOLAW: Enhancing Legal Compliance in Large Language Models via Case Law Generation and Jury-Inspired Deliberation [5.732271982985626]
AutoLawは、ドメイン固有の大規模言語モデル(LLM)のための新しい違反検出フレームワークである。
LLMの法的コンプライアンスを強化するために、敵対的なデータ生成と陪審に触発された審議プロセスを組み合わせる。
本研究は, 法的不一致を適応的に調査し, 信頼性の高い文脈対応の判断を下すフレームワークの能力を強調した。
論文 参考訳（メタデータ） (2025-05-20T07:09:13Z) - Multi-Agent Simulator Drives Language Models for Legal Intensive Interaction [37.856194200684364]
本稿では,対話型法シナリオをシミュレートして合成データを生成するマルチエージェント法定シミュレーションドライバ(MASER)を提案する。
MASERは参加者間の法的属性の整合性を確保し、参加者の性格や行動を調整するための監督機構を導入する。
論文 参考訳（メタデータ） (2025-02-08T15:05:24Z) - LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。
LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
論文 参考訳（メタデータ） (2024-12-23T04:02:46Z) - AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。
我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。
主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
論文 参考訳（メタデータ） (2024-10-11T17:39:22Z) - ALI-Agent: Assessing LLMs' Alignment with Human Values via Agent-based Evaluation [48.54271457765236]
大規模言語モデル(LLM)は、人間の価値観と不一致した場合、意図しない、有害なコンテンツも引き出すことができる。
現在の評価ベンチマークでは、LLMが人的価値とどの程度うまく一致しているかを評価するために、専門家が設計した文脈シナリオが採用されている。
本研究では, LLM エージェントの自律的能力を活用し, 奥行き及び適応的アライメント評価を行う評価フレームワーク ALI-Agent を提案する。
論文 参考訳（メタデータ） (2024-05-23T02:57:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。