論文の概要: AI Safety Considerations for Agents With Limited Time to Act

• arxiv url: http://arxiv.org/abs/2610.10285v1
• Date: Wed, 07 Oct 2026 15:49:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.01326
• Title: AI Safety Considerations for Agents With Limited Time to Act
• Title（参考訳）: 限られた時間で行動するエージェントに対するAIの安全性に関する考察
• Abstract要約: 本研究では, 部分的にしか観察できない環境や, 限られた時間内に行動が必要な環境において, エージェント非依存の安全保証に関する理論的境界について論じる。 AIの安全性やアライメントの証明のためには、環境と関連する安全な行動はエージェントと一緒に特別に考慮する必要がある、と論じられる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the wake of the increasingly public discussion about AI alignment, recent work has tried to propose specific AI architectures that behave safely. However, the proposed arguments that seemingly demonstrate proved alignment mostly neglect the environment the agent needs to act in. We discuss theoretical bounds for agent-agnostic safety guarantees in environments that can only be partially observed and within which an action is required within limited time. We introduce two realistic scenarios, one with an infinite state space and one with signal mixture. In these scenarios, we prove that even a perfect agent cannot guarantee safe behaviour. It will be argued that for any proof of AI safety or alignment, the environment and associated safe actions need to be specifically considered together with the agent.
• Abstract（参考訳）: AIアライメントに関する公開議論の高まりを受けて、最近の研究は、安全に振る舞う特定のAIアーキテクチャの提案を試みた。 しかし、アライメントが証明されたように見える提案された議論は、エージェントが行動する必要がある環境をほとんど無視している。 本研究では, 部分的にしか観察できない環境や, 限られた時間内に行動が必要な環境において, エージェント非依存の安全保証に関する理論的境界について論じる。 1つは無限の状態空間を持ち、もう1つは信号混合を伴う現実的なシナリオを導入する。 これらのシナリオでは、完璧なエージェントでさえ安全な振る舞いを保証できないことを証明します。 AIの安全性やアライメントの証明のためには、環境と関連する安全な行動はエージェントと一緒に特別に考慮する必要がある、と論じられる。

関連論文リスト

• Containment Verification: AI Safety Guarantees Independent of Alignment [13.629487815782355]
  本稿では,エージェントフレームワーク自体の安全性を保証する封じ込め検証を導入する。 ハボックオラクルセマンティクスの下では、AIは型付きアクション空間全体にわたって制約のないオラクルとしてモデル化される。 モデル付き境界イベント、アクション引数、状態上で表現される境界強化性については、普遍的な保証を証明します。
  論文  参考訳（メタデータ） (2026-05-09T16:36:45Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• How Brittle is Agent Safety? Rethinking Agent Risk under Intent Concealment and Task Complexity [55.441602598245744]
  LLM駆動エージェントの現在の安全性評価は、主に原子害に焦点を当てており、悪意のある意図が複雑なタスクで隠されたり希釈されたりする高度な脅威に対処できなかった。 このギャップを,意図隠蔽とタスク複雑性の圧力下でのエージェントの安全性の脆さを二次元的に解析することで解決する。 目的が明確になるにつれて、安全アライメントは急激かつ予測的に低下し、「複雑パラドックス」が出現する。
  論文  参考訳（メタデータ） (2025-11-11T17:27:27Z)
• The Limits of Predicting Agents from Behaviour [16.80911584745046]
  我々は,エージェントの行動が世界モデルによって導かれるという仮定の下で,正確な回答を提供する。 我々の貢献は、新しい(目に見えない)デプロイメント環境におけるエージェントの振る舞いに関する新しい境界の導出である。 公平性や安全性など,いくつかの研究領域において,これらの結果がもたらす意味について論じる。
  論文  参考訳（メタデータ） (2025-06-03T14:24:58Z)
• Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
  我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。 これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
  論文  参考訳（メタデータ） (2024-12-19T13:50:26Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。