論文の概要: Dependable Agents Need Hard and Fuzzy Rules

• arxiv url: http://arxiv.org/abs/2611.01043v1
• Date: Sat, 31 Oct 2026 15:33:22 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:30:46.708791
• Title: Dependable Agents Need Hard and Fuzzy Rules
• Title（参考訳）: 依存するエージェントはハードとファジィのルールを必要とする
• Abstract要約: 言語モデルは、ソフトウェアが通常の言語で要求を読み取ることを可能にするが、ルールは人々のように保持する。 この2つのルールは、エージェントがすることの重複と不平等な領域をカバーするためである。 3つのドメインでハードレイヤをテストし、購入、権限委譲、データアクセスをチーム外の著者によって書かれた1,340のエピソードでテストします。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Language models let software read requests in ordinary language, but they keep rules as people do: usually, and less so under pressure. Conventional code keeps rules exactly, but it cannot read a request. We argue that dependable agents need both, because the two kinds of rule cover overlapping and unequal regions of what an agent might do. Code holds the limits that can be stated exactly. Learned fuzzy rules cover the judgment that cannot. We test the hard layer in three domains, purchasing, delegation of authority and data access, on 1,340 episodes written by authors outside our team. Models left to decide for themselves executed unauthorized actions in up to 151 of 340 purchasing episodes and 269 of 470 delegation episodes, and the strongest model breached in every condition. A hard guard between proposal and action executed none, and an exhaustive search of 183,204 proposals agreed. In a further test, where an outsider wrote the owner's rules and a program mapped them to the guard, two episodes breached at a boundary we had written down in advance. We then test the pair. Concept Programming instills a named rule in a model and measures its errors on wording it never saw. A small model taught four judgment rules this way flagged 95 of 96 rule-breaking purchases that no exact rule can see, and 4 of 108 legitimate requests. Placed in front of the guard, it left 1 of 192 rule-breaking requests unstopped, where the guard alone left 77 and 70, and the guard still held every exact limit. A prompted frontier model did about as well, so the claim is that a small taught rule can do the job, not that it does it better.
• Abstract（参考訳）: 言語モデルは、ソフトウェアが通常の言語で要求を読み取ることを可能にするが、ルールは人々のように保持する。 従来のコードはルールを正確に保持するが、要求を読むことはできない。 この2つのルールは、エージェントがすることの重複と不平等な領域をカバーするためである。 コードは正確に記述できる限界を持っている。 学習されたファジィルールは、不可能な判断をカバーします。 3つのドメインでハードレイヤをテストし、購入、権限委譲、データアクセスをチーム外の著者によって書かれた1,340のエピソードでテストします。 340回の購入エピソードのうち151回、および470回の代表エピソードのうち269回は無許可の行動を実行し、全ての状況において最強のモデルが破られた。 提案と行動の間のハードガードは実行されず、183,204件の提案を徹底的に調査した。 さらなるテストでは、外部の人がオーナーのルールを書き、プログラムがそれらをガードにマップし、2つのエピソードが前もって書き留めた境界線で破られた。 その後、ペアをテストします。 概念プログラミングはモデルに名前付きルールを注入し、そのエラーをそれまで見たことのない言葉で測定する。 小さなモデルは4つの判断規則をこの方法で教え、96件のルール違反購入のうち95件は正確なルールが見当たらないと警告し、108件の合法的要求が4件あった。 警備隊の前に置かれ、192件の規則違反要求のうち1件が停止せず、警備隊だけが77件と70件を残した。 引き起こされたフロンティアモデルも同様に行なったので、小さな教えられたルールが仕事をこなせるという主張は、それがより良くできるということではありません。

関連論文リスト

• From Approval to Abuse: Privilege Escalation Attacks on Harness-Protected Coding Agents [71.95900681890676]
  コーディングエージェントは、実行ハーネスを使用して、パーミッション境界を強制することによって、プロンプトインジェクションの結果を制限する。 承認疲労を軽減するために、ユーザはエージェントが提案する許可ルールを承認し、その後、ルールにマッチする将来のアクションをプロンプトなしで許可する。 信頼できないコンテキストは、承認のために提示された許可に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2026-10-16T06:13:06Z)
• What May an Agent Change About Itself? A Containment Floor for Self-Configuring Agent Runtimes [0.0]
  ルール: エージェントは能力を与えるフィールドを変更することができ、その限界を設定するフィールドを変更することはない。 我々はこれをデプロイされたモデルに依存しないランタイムで研究する。 構成ツール内の囲い込みフロアとしてルールを強制し、それなしで何が起こるかを測定します。
  論文  参考訳（メタデータ） (2026-10-05T13:07:17Z)
• When "Do Not" Is Not Deny: Security Rules in CLAUDE.md vs Built-In Controls [0.533024001730262]
  Do not"はモデルが解釈する自然言語命令である。 Do not"は、エージェントがそれを取る前にアクションをブロックするビルトインコントロールである。 このギャップを481の公開CLAUDE.mdファイルで測定する。
  論文  参考訳（メタデータ） (2026-08-24T17:52:57Z)
• Multi-Agent AI Safety as an Institutional Design Problem [0.0]
  マルチエージェントシステムのためのアルゴリズム制度を研究するPOLISの最初の論文である。 最近の研究は、デプロイメントルールが集団的な振る舞いを変える可能性があることをすでに示しています。 私たちは、AI機関のどの部分が安全を生み出し、どのようにそれを行うかを尋ねます。
  論文  参考訳（メタデータ） (2026-08-10T16:47:01Z)
• DAR: Deontic Reasoning with Agentic Harnesses [48.798309189058614]
  本稿では,DAR(Deontic Agentic Reasoning)について紹介する。 我々はDARをDeonticBenchのハードサブセット上で複数のハーネスで評価する。
  論文  参考訳（メタデータ） (2026-06-03T15:29:38Z)
• Many-Tier Instruction Hierarchy in LLM Agents [71.50171548872596]
  Many-Tier Instruction Hierarchy (ManyIH)は、任意の特権レベルを持つ命令間の命令競合を解決するためのパラダイムである。 ManyIH-Benchは、LLMによって開発され、人間が検証した制約を構成し、46の現実世界のエージェントにまたがる現実的で難しいテストケースを作成する。
  論文  参考訳（メタデータ） (2026-04-10T16:00:04Z)
• Distributed Multi-Layer Editing for Rule-Level Knowledge in Large Language Models [56.355176278601476]
  大規模言語モデルは、孤立した事実だけでなく、記号表現、自然言語の説明、具体例の推論をサポートするルールも格納する。 ほとんどのモデル編集手法は、対象の編集が局所的な介入によって達成できると仮定して、事実レベルの知識のために構築されている。 ルールレベルの知識編集の機械論的研究を通じて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-04-09T14:22:19Z)
• Blind Refusal: Language Models Refuse to Help Users Evade Unjust, Absurd, and Illegitimate Rules [0.1753733541634709]
  安全訓練された言語モデルは規則を回避するための要求を定期的に拒否する。 本稿では,言語モデルがルールを破る助けを求める要求を拒否する傾向について考察する。 モデルが敗れたルール要求の75.4%を拒否し、その要求が独立した安全や二重利用の懸念を起こさない場合でも、そうすることを発見した。
  論文  参考訳（メタデータ） (2026-04-03T13:53:23Z)
• How Should AI Interpret Rules? A Defense of Minimally Defeasible Interpretive Argumentation [0.0]
  現実世界のルールは、必然的にオープンテクスチャの用語で区切られている。 このようなルールに従う能力、そしてそれらについて考える能力は、最初の分析で見られるほど明確ではない。 ルールに従うAIは、最小限の解釈可能な議論によって最も支持される解釈に従って行動すべきである。
  論文  参考訳（メタデータ） (2021-10-26T00:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。