論文の概要: Agentic Safety is an Epistemic Property, Not a Behavioral One

• arxiv url: http://arxiv.org/abs/2606.28347v1
• Date: Tue, 02 Jun 2026 17:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-05 17:01:29.589349
• Title: Agentic Safety is an Epistemic Property, Not a Behavioral One
• Title（参考訳）: エージェント安全性はてんかん性であり、行動性ではない
• Abstract要約: AIシステムがより有能で、動的で、具体化され、自己改善されるようになると、安全は、システムが現在受け入れられているかどうかだけでなく、学習し、適応し、行動し、時間とともに自分自身を修正できるかどうかにも依存する。 先進的なシステムは、将来の修正に必要な表現、アルゴリズム、メタ決定条件を侵食しながら、目に見える能力を維持することができると主張している。
• 参考スコア（独自算出の注目度）: 0.12744523252873352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary AI safety spans pre-training interventions, post-training alignment, deployment-time controls, monitoring, and red-teaming. These methods are necessary, but they primarily certify snapshots of system behavior. As AI systems become more capable, dynamic, embodied, and self-improving, this snapshot view becomes incomplete: safety depends not only on whether a system behaves acceptably now, but whether it remains correctable as it learns, adapts, acts, and modifies itself over time. This paper argues that safety should therefore be treated as an epistemic property of the evolving learner, not merely a behavioral property of the current policy. We introduce teachability as the capacity to preserve future corrective leverage under bounded human, institutional, or environmental intervention. We argue that advanced systems can retain visible competence while eroding the representational, algorithmic, or meta-decision conditions needed for future correction. Safe advanced AI systems must not only behave acceptably now; they must remain teachable later.
• Abstract（参考訳）: 現代のAIの安全性は、事前トレーニングの介入、トレーニング後のアライメント、デプロイメント時のコントロール、監視、チーム編成にまたがる。 これらの方法は必須ですが、主にシステムの振る舞いのスナップショットを認証します。 AIシステムがより能力が高く、動的で、具体化され、自己改善されるようになると、このスナップショットビューは不完全になる。 そこで本論文では,安全は進化する学習者の認識的特性として扱われるべきであり,単に現在の政策の行動的特性として扱われるべきではない,と論じる。 我々は,人間,機関,環境の介入の下で将来の是正的レバレッジを維持する能力として,教育可能性を紹介した。 先進的なシステムは、将来の修正に必要な表現、アルゴリズム、メタ決定条件を侵食しながら、目に見える能力を維持することができると主張している。 安全な先進的なAIシステムは、現在受け入れられるだけでなく、後になっても教えられなければならない。

関連論文リスト

• Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
  身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。 我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
  論文  参考訳（メタデータ） (2026-07-28T17:50:44Z)
• Position: AI Safety Requires Effective Controllability [7.789894640525689]
  我々は、AIの安全性は第一級の目的として制御性を必要とすると論じている。 OpenClawベースのエージェントによる実験では、現在のアライメントとガードレール機構がリスクを低減しているが、永続的で権威的で強制可能なランタイムコントロールの提供に失敗することが多い。
  論文  参考訳（メタデータ） (2026-05-26T14:53:24Z)
• Trust as Monitoring: Evolutionary Dynamics of User Trust and AI Developer Behaviour [59.27481013639016]
  我々は、安全と安全でないAIのユーザー信頼戦略と開発者選択が、異なるレベルの監視コストと制度体制の下でどのように共存するかを研究する。 安全でない開発への採用、安全でないが広く採用されているシステム、そして広く採用されている安全なシステムです。
  論文  参考訳（メタデータ） (2026-03-25T19:04:23Z)
• What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else? [28.12412876058788]
  身体化されたAIシステムは、制御された環境から安全クリティカルな現実世界へのデプロイへと急速に移行している。 インボディードAIとは異なり、インボディードインテリジェンスにおける失敗は、不可逆的な物理的結果をもたらす。 我々は,実施によるシステムレベルのミスマッチから,重大な障害が生じることを論じる。
  論文  参考訳（メタデータ） (2026-02-19T13:29:00Z)
• The Devil Behind Moltbook: Anthropic Safety is Always Vanishing in Self-Evolving AI Societies [57.387081435669835]
  大規模言語モデルから構築されたマルチエージェントシステムは、スケーラブルな集合知性と自己進化のための有望なパラダイムを提供する。 エージェント社会が継続的自己進化、完全隔離、安全性の不変性を満たすことは不可能であることを示す。 我々は、特定された安全上の懸念を軽減するために、いくつかの解決方法を提案する。
  論文  参考訳（メタデータ） (2026-02-10T15:18:19Z)
• ANNIE: Be Careful of Your Robots [48.89876809734855]
  エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。 すべての安全カテゴリーで攻撃の成功率は50%を超えている。 結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
  論文  参考訳（メタデータ） (2025-09-03T15:00:28Z)
• Safe Uncertainty-Aware Learning of Robotic Suturing [0.7864304771129751]
  ミニマル補助侵襲手術は現在、訓練された外科医によって完全に手動で制御されている。 最近の研究は、有望な適応性を示す人工知能手法を活用している。 本稿では,安全かつ不確実性を考慮した学習手法の枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-22T12:31:18Z)
• Safe AI -- How is this Possible? [0.45687771576879593]
  従来の安全エンジニアリングは、決定論的で非進化的なシステムが、明確に定義されたコンテキストで運用されるものから、予測不可能な操作コンテキストで機能する自律的で学習可能なAIシステムへと、転換点に近づいている。 我々は、安全AIの基本的な課題を概説し、AIシステムの安全な振る舞いにおいて、不確実性を最小化し、信頼性を高め、許容レベルまで、厳格なエンジニアリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-25T16:32:35Z)
• Learning to Be Cautious [45.06179623100775]
  強化学習の分野における重要な課題は、新しい状況下で慎重に行動するエージェントを開発することである。 注意深い行動がますます不要になるタスクのシーケンスと、システムが注意深いことを学習できることを実証するアルゴリズムを提示する。
  論文  参考訳（メタデータ） (2021-10-29T16:52:45Z)
• Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
  安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。 既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。 本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T10:48:17Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。