論文の概要: Agent Safety Is Action Alignment

• arxiv url: http://arxiv.org/abs/2606.28739v1
• Date: Sat, 27 Jun 2026 05:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.672723
• Title: Agent Safety Is Action Alignment
• Title（参考訳）: エージェントの安全性は行動アライメントである
• Abstract要約: アクションセーフティは重みには設置できないと我々は主張する。 不変の特権として表現され、アクションバウンダリでモデルに強制される。
• 参考スコア（独自算出の注目度）: 5.990318568221089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly act as agents: they call tools, move money, delete records, and send messages on a user's behalf. To keep them safe, practitioners imported the chatbot-era recipe (train the model to refuse unsafe inputs) into the agentic setting, and treat the resulting capability loss as a manageable ``alignment tax.'' We argue this is a \emph{category error}. Refusal is a primitive for \emph{content safety}, where the harm is in the model's output and is therefore a learnable function of it. Agentic harm is different in kind: it lies not in any output but in the relation between the authority an action exercises and the authority the user granted, which is absent from the text the model sees. Importing content-safety methods into this regime does not trade capability for safety; it pays capability and buys negative security. We support this with three lines of evidence spanning the autonomy spectrum: defense-trained models learn surface patterns rather than intent; the same training collapses multi-step agents before any threat appears while leaving them exploitable; and even undefended frontier models exceed granted authority under ordinary use. We conclude that action safety cannot be installed in weights. It must be expressed as \emph{least privilege}, enforced \emph{outside} the model at the action boundary, and evaluated as \emph{action alignment} (a relational, deployment-conditioned property) rather than a refusal score.
• Abstract（参考訳）: 大きな言語モデルはますますエージェントとして機能し、ツールを呼び出し、お金を移動し、レコードを削除し、ユーザの代理としてメッセージを送信する。 安全性を確保するため、実践者は、チャットボット時代のレシピ(安全でない入力を拒否するためにモデルを訓練する)をエージェント設定にインポートし、その結果の能力損失を管理可能な「アライメント税」として扱う。 これは 'emph{category error} である、と我々は主張する。 Refusal は \emph{content safety} のプリミティブであり、害はモデルの出力にあるため、学習可能な関数である。 エージェント・ハーネスは、いかなるアウトプットにも属さないが、アクション・エクササイズを行う権限とユーザーが付与する権限の関係では、モデルが見ているテキストにはない。 この体制にコンテントセーフティメソッドをインポートすることは、安全のために機能と交換するものではなく、能力に支払い、負のセキュリティを購入する。 防衛訓練されたモデルは、意図よりも表面パターンを学習し、同じ訓練は、脅威が現れる前に複数のステップエージェントを崩壊させ、それらを悪用する。 我々は行動安全を重みに組み込むことはできないと結論づける。 これは「emph{least privilege}」として表現され、アクション境界におけるモデル「emph{outside}」を強制し、拒絶スコアではなく「emph{action alignment}」(リレーショナル、デプロイ条件付きプロパティ)として評価されなければならない。

関連論文リスト

• Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs [13.624659633750861]
  大規模言語モデル(MLLM)の既存の安全性メカニズムは、安全性とユーティリティの基本的なトレードオフに直面している。 出力対応安全ガードレールへのパラダイムシフトを提案する。 我々の手法はモデル内の隠れ状態空間内で動作し、次の世代が安全でないかどうかを予測する。
  論文  参考訳（メタデータ） (2026-06-20T12:09:13Z)
• ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
  障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。 我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-06-13T18:29:53Z)
• Jailbreaking Frontier Foundation Models Through Intention Deception [6.119674554651102]
  大きな(ビジョン-)モデルは優れた能力を示すが、ジェイルブレイクの影響を受けやすい。 本稿では,この脆弱性を利用した新しいマルチターンジェイルブレイク手法を提案する。 当社のアプローチでは、パラジェイルブレークと呼ばれる新たなモデルの脆弱性も発見しました。
  論文  参考訳（メタデータ） (2026-04-27T06:12:43Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs [0.0]
  オープンウェイト大規模言語モデル(LLM)はエージェントAIを民主化しているが、微調整されたウェイトは頻繁に共有され、リーダーボードのパフォーマンスを超えた限られた精査で採用されている。 これにより、サードパーティモデルが強力な行動保証なしで組み込まれるリスクが生じる。 有毒なモデルでは、良質なタスクに対して最先端のパフォーマンスを維持し、採用にインセンティブを与えていることを示す。
  論文  参考訳（メタデータ） (2026-03-02T22:01:08Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• Can AI Perceive Physical Danger and Intervene? [16.825608691806988]
  AIが物理的な世界と対話するとき、新しい安全上の課題が生まれる。 最先端のファンデーションモデルは、物理的な安全性に関する常識的な事実をどの程度理解していますか?
  論文  参考訳（メタデータ） (2025-09-25T22:09:17Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Who's asking? User personas and the mechanics of latent misalignment [12.92431783194089]
  安全に配慮したモデルでは、不整合能力は依然として潜伏している。 モデル世代が安全である場合でも、有害なコンテンツは隠された表現で持続可能であることを示す。 特定のペルソナがモデルセーフガードを破る理由を調査し、モデルがより慈善的な解釈を形成することができることを確かめる。
  論文  参考訳（メタデータ） (2024-06-17T21:15:12Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。