論文の概要: DGF-Bench: A Benchmark for Simulating and Auditing Deception Against Multi-Agent Governance Boards
- arxiv url: http://arxiv.org/abs/2609.34913v1
- Date: Mon, 28 Sep 2026 11:14:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:45:20.675148
- Title: DGF-Bench: A Benchmark for Simulating and Auditing Deception Against Multi-Agent Governance Boards
- Title（参考訳）: DGF-Bench:マルチエージェント・ガバナンス・ボードに対する詐欺のシミュレーションと監査のためのベンチマーク
- Abstract要約: DGF-Benchは、エージェントの委員会が合成ドシエをレビューするベンチマークであり、攻撃者は組織が欲しがらない証拠にコンテンツを配置する。
DGFのスコアは96.2から26.9までで、ポリシー対応のアダプティブアタックが6つのモデルのうち5つに対して成功している。
オープンソースのパッケージdgf-benchは、DGFスコアを1つのコマンドで計算する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool-using language-model agents can review enterprise projects as governance boards do: they read the evidence, apply written rules and decide whether the project may proceed. Part of that evidence comes from suppliers and project members with a stake in the decision. DGF-Bench is a benchmark in which a board of agents (specialist gates and a General gate that consolidates their decisions) reviews synthetic dossiers while an attacker plants deceptive content in evidence the organization does not vouch for. Dossiers are generated from canonical facts under 61 executable rules, with 42 authoritative records and 32 narrative documents; every gate is certified decidable from those records. Attacks never change an authoritative value, so an attacked dossier keeps the reference decisions of its clean copy. A success is attributable only when the agent receives the injection and takes the exact injected action, which it does not take on the paired clean dossier; the DGF score is the share of applicable fixed attacks a model blocks. Reading documents and records themselves, five of six models were outcome-strict (disposition, findings, actions and authorization all correct) on 82 to 85 of 85 gates. Over 2,622 attacked gate runs, seven direct-order, false-data and false-authority attacks obtained one attributable success against these five, whereas task-aligned attacks imitating the organization's own process passed against four of them: a record note citing a fake review procedure lowered GPT-6 Luna Pro from 34 to 6 outcome-strict gates and DeepSeek V4 Pro from 33 to 7. DGF scores ranged from 96.2 to 26.9, and a policy-aware adaptive attacker writing in records succeeded against five of six models. The approval tool executed no forged approval, yet deceived agents submitted approvals that the rules forbid. The open-source package dgf-bench computes the DGF score with one command.
- Abstract（参考訳）: ツールを使用する言語モデルエージェントは、ガバナンス委員会が行っているように、エンタープライズプロジェクトをレビューすることができる。
その証拠の一部は、サプライヤーとプロジェクトメンバーが決定に賭けているところにある。
DGF-ベンチ(英: DGF-Bench)は、エージェントの委員会(特殊主義のゲートと一般のゲート)が合成ドシエをレビューするベンチマークであり、攻撃者が偽装コンテンツを組織が望まない証拠に植え付ける。
ドシエは61の規則に基づく正統的な事実から生成され、42の権威的記録と32の物語的文書があり、全てのゲートはそれらの記録から決定可能である。
攻撃は権威的な値を決して変更しないので、攻撃されたドシエはそのクリーンコピーの参照決定を保持します。
成功は、エージェントがインジェクションを受け取り、正確に注入されたアクションを取る場合にのみ帰結し、ペア化されたクリーンなドシエを取り上げない。
6つのモデルのうち5つは、85門中82門から85門の成果制限(処分、発見、行動、承認すべて正当)であった。
2,622回以上の攻撃されたゲートラン、7件のダイレクトオーダー、偽データ、偽のオーソリティアタックは、これら5件に対して1件の成果を上げたが、一方で、組織独自のプロセスを模倣したタスクアラインアタックは、4件に対して通過した: 偽のレビュー手順を引用した記録は、GPT-6 Luna Proを34から6の結果制限ゲートに、DeepSeek V4 Proを33から7に下げた。
DGFのスコアは96.2から26.9までで、ポリシー対応のアダプティブアタックが6つのモデルのうち5つに対して成功している。
承認ツールは偽造の承認は行わなかったが、偽造されたエージェントは、規則が禁止されたという承認を提出した。
オープンソースのパッケージdgf-benchは、DGFスコアを1つのコマンドで計算する。
関連論文リスト
- Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
論文 参考訳（メタデータ） (2026-09-21T01:21:06Z) - AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳（メタデータ） (2026-09-09T08:29:16Z) - From Traceability to Justifiability: Accountability Structures in Agentic Software Engineering [0.0]
公開資料のみから、AIレコードがクレームを表現できるかどうか、宣言された場所を保持できるかどうかを測定する。
188個の二重グレード細胞で、デフォルトレコードが行動システムのコンテンツアイデンティティを出力するプラットフォームは見つからなかった。
計器は、パイプラインが発行した排気のみからの保証深度を計算し、宣言された深さと比較する。
論文 参考訳（メタデータ） (2026-08-21T16:45:00Z) - Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。
本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。
このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
論文 参考訳（メタデータ） (2026-08-18T22:07:23Z) - Quipu: A Governed Bitemporal Knowledge Graph Store [0.0]
Quipuは4つのデフォルトを逆転する組み込み可能なナレッジストアだ。
議事録が保留中のポストステートを評価するゲートを経由する以外は、事実は入らない。
支配的な作家からの痕跡は、その修復によって監査名のライブ執行のギャップを表面化する。
論文 参考訳（メタデータ） (2026-08-17T17:04:29Z) - When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering [0.0]
バイナリは、データをある起源からの命令やレコードのように、独立したエビデンスのように見せることができる。
我々は、逆エンジニアリング(RARE)における融合攻撃(Confusion Attacks in Reverse Engineering)と呼ぶ。
RAREはこれらの障害を測定する。
Ghidra, r2pipe, angrを16のプログラムに実装する。
論文 参考訳（メタデータ） (2026-07-14T08:38:10Z) - Hallucination as Exploit: Evidence-Carrying Multimodal Agents [10.441697487723568]
マルチモーダルエージェントはますます、スクリーンショットやドキュメント、Webページからツールコールを選択している。
本稿では,自由形式モデルテキストを不許容な証拠として扱うエビデンス搬送型マルチモーダルエージェント(ECA)を提案する。
ECAは不透明なモデルの信念を検証者、スキーマ、実装レベルで監査可能な残留物に変換する。
論文 参考訳（メタデータ） (2026-05-18T23:40:43Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳（メタデータ） (2026-03-16T14:49:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。