論文の概要: SafeBranch: Branch-Pair Safety Alignment for Embodied Agents
- arxiv url: http://arxiv.org/abs/2608.19729v1
- Date: Thu, 20 Aug 2026 07:29:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.482843
- Title: SafeBranch: Branch-Pair Safety Alignment for Embodied Agents
- Title（参考訳）: SafeBranch: 人工呼吸器のブランチペア安全アライメント
- Abstract要約: 視覚言語モデルに基づくエンボディエージェントは、指示されたタスクを完了することができるが、しばしばプロセスの安全性の制約に違反する。
我々は,アクター自身の安全でないロールアウトから構築したブランチペアを通じて,エンボディされたアクターを安全に整列させるフレームワークであるSafeBranchを提案する。
IS-Bench、SafetyALFRED、および目に見えないタスクやオブジェクトによるアウト・オブ・ディストリビューションの変種では、タスクの成功を犠牲にすることなく安全を確実に処理する。
- 参考スコア（独自算出の注目度）: 23.40114468671152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-model-based embodied agents can complete instructed tasks but often violate safety constraints in the process, a problem recently framed as interactive safety. Training such agents to act safely is difficult, since safety and task success are distinct objectives, and safety arises only at a small number of safety-critical steps within a trajectory. Standard supervision is insufficient: imitating safe trajectories teaches behavior without explaining why it is safe, and contrasting arbitrary safe and unsafe trajectories mixes the safety signal with unrelated differences. We propose SafeBranch, a framework that aligns an embodied actor on safety through branch pairs constructed from the actor's own unsafe rollouts via environment rollback. SafeBranch rolls each unsafe rollout back to the safety-critical step that caused the violation, queries the actor for a safe alternative, and pairs the original action with the alternative so that the two branches differ only at that step. The trained actor acts safely at deployment with no critic in the loop. On IS-Bench, SafetyALFRED, and out-of-distribution variants with unseen tasks and objects, it handles safety reliably without sacrificing task success, achieving roughly ten times more safe successes than the untrained baseline on the unseen-object variant.
- Abstract（参考訳）: 視覚言語モデルに基づくエンボディエージェントは、指示されたタスクを完了することができるが、プロセスの安全性の制約にしばしば違反する。
安全とタスクの成功は異なる目的であり、安全は軌道内の少数の安全クリティカルなステップでのみ起こるため、そのようなエージェントを安全に行動させる訓練は困難である。
安全軌道の模倣は、なぜ安全であるかを説明することなく行動を教え、また、任意の安全軌道と安全軌道の対比は、安全信号と無関係な相違を混合する。
本研究では,環境のロールバックを通じて,アクター自身の安全でないロールアウトから構築したブランチペアを通じて,エンボディされたアクターを安全上で整列させるフレームワークであるSafeBranchを提案する。
SafeBranchは、各安全でないロールアウトを、違反の原因となる安全クリティカルなステップにロールバックし、アクターに安全な代替手段を問い合わせ、元のアクションと代替手段をペアリングすることで、このステップで2つのブランチが異なるようにする。
訓練された俳優は、ループに批評家がいない配置で安全に行動します。
IS-Bench、SafetyALFRED、および未確認のタスクやオブジェクトによるアウト・オブ・ディストリビューション版では、タスクの成功を犠牲にすることなく確実に安全を処理し、未学習のオブジェクトのベースラインの約10倍の安全成功を達成する。
関連論文リスト
- ActSafeGuard: Differentiable and Training-Aligned Constraint Enforcement for Flow-Matching Policies [13.296422778046148]
私たちはActSafeGuardを紹介します。ActSafeGuardは、フローマッチングベースのポリシーのための差別化およびトレーニング対応のセーフガードレイヤです。
ActSafeGuardは、安全を推論時の外部コンポーネントとして扱うだけでなく、ポリシー学習にハードアクション実現可能性を統合する。
論文 参考訳（メタデータ） (2026-09-10T15:21:47Z) - OpenSafeIntent: Evaluating Intent-Calibrated Safe Completion Across Dual-Use Prompt Sets [6.985945816612278]
OpenSafeIntentは、制御されたプロンプトセットのベンチマークで、基本的なタスクを固定しながら意図を変える。
この設計により、モデルが平均的に安全なように見えるのではなく、意図的なシフトでアシストを校正するかどうかを評価することができる。
幅広いモデルスイート全体で、プロンプトレベルの安全性が重要な障害を隠蔽していることが分かりました。
論文 参考訳（メタデータ） (2026-07-02T11:14:52Z) - Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
クロスモデル安全ステアリングのための最初のフレームワークを紹介する。
私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。
多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
論文 参考訳（メタデータ） (2026-06-03T18:00:04Z) - RUBAS: Rubric-Based Reinforcement Learning for Agent Safety [93.80584563695646]
RUBASは、エージェント安全性のためのルーリックベースの強化学習フレームワークである。
エージェントの動作は、ツール使用の安全性、引数の安全性、応答の安全性、役に立つ4つの次元に分けられる。
実験により、RUBASは標準アライメントベースラインよりも安全性を向上し、ツール接地幻覚を低減し、競争力を維持することが示されている。
論文 参考訳（メタデータ） (2026-06-02T09:02:14Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳（メタデータ） (2025-12-24T15:01:26Z) - UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。
安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。
この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
論文 参考訳（メタデータ） (2025-10-02T16:43:33Z) - TraCeS: Trajectory Based Credit Assignment From Sparse Safety Feedback [15.904640266226023]
安全強化学習(RL)では、エージェントを安全な意思決定に合わせるために補助的な安全コストが使用される。
実際には、コスト関数や予算を含む安全性の制約は、不明または特定が難しい。
我々は、真の安全定義が不明な一般的な設定に対処し、少ないラベル付きデータから学ぶ必要がある。
論文 参考訳（メタデータ） (2025-04-17T01:11:08Z) - Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。
我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。
UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
論文 参考訳（メタデータ） (2025-03-14T17:00:22Z) - SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。
近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。
過大な安全性の懸念を和らげるために,SCANS法を提案する。
論文 参考訳（メタデータ） (2024-08-21T10:01:34Z) - ISAACS: Iterative Soft Adversarial Actor-Critic for Safety [0.9217021281095907]
この研究は、ロボットシステムのための堅牢な安全維持コントローラのスケーラブルな合成を可能にする新しいアプローチを導入する。
安全を追求するフォールバックポリシーは、モデルエラーの最悪のケースの実現を促進するために、敵の「混乱」エージェントと共同で訓練される。
学習した制御ポリシーは本質的に安全性を保証するものではないが、リアルタイムの安全フィルタを構築するために使用される。
論文 参考訳（メタデータ） (2022-12-06T18:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。