論文の概要: Model Developmental Safety: A Safety-Centric Method and Applications in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2410.03955v2
- Date: Sun, 13 Oct 2024 00:48:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 15:10:07.502364
- Title: Model Developmental Safety: A Safety-Centric Method and Applications in Vision-Language Models
- Title（参考訳）: モデル開発安全:視覚言語モデルにおける安全中心法とその応用
- Authors: Gang Li, Wendi Yu, Yao Yao, Wei Tong, Yingbin Liang, Qihang Lin, Tianbao Yang,
- Abstract要約: 本稿では,既存の画像分類能力向上のために,事前学習された視覚言語モデル(別名CLIPモデル)の開発方法について検討する。
自律走行とシーン認識データセットにおける視覚知覚能力の向上に関する実験は,提案手法の有効性を実証するものである。
- 参考スコア（独自算出の注目度）: 75.8161094916476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the real world, a learning-enabled system usually undergoes multiple cycles of model development to enhance the system's ability to handle difficult or emerging tasks. This continual model development process raises a significant issue that the model development for acquiring new or improving existing capabilities may inadvertently lose capabilities of the old model, also known as catastrophic forgetting. Existing continual learning studies focus on mitigating catastrophic forgetting by trading off performance on previous tasks and new tasks to ensure good average performance. However, they are inadequate for many applications especially in safety-critical domains, as failure to strictly preserve the performance of the old model not only introduces safety risks and uncertainties but also imposes substantial expenses in the re-improving and re-validation of existing properties. To address this issue, we introduce model developmental safety as a guarantee of a learning system such that in the model development process the new model should strictly preserve the existing protected capabilities of the old model while improving its performance on target tasks. To ensure the model developmental safety, we present a safety-centric framework by formulating the model developmental safety as data-dependent constraints. Under this framework, we study how to develop a pretrained vision-language model (aka the CLIP model) for acquiring new capabilities or improving existing capabilities of image classification. We propose an efficient constrained optimization algorithm with theoretical guarantee and use its insights to finetune a CLIP model with task-dependent heads for promoting the model developmental safety. Our experiments on improving vision perception capabilities on autonomous driving and scene recognition datasets demonstrate the efficacy of the proposed approach.
- Abstract（参考訳）: 現実の世界では、学習可能なシステムは、通常、難しいタスクや新しいタスクを扱うシステムの能力を高めるために、モデル開発の複数のサイクルを経る。
この継続的モデル開発プロセスは、新しいものや既存の機能を改善するためのモデル開発が故意に旧モデルの能力を失うという重大な問題を提起する。
既存の継続的な学習研究は、過去のタスクのパフォーマンスと新しいタスクをトレードオフすることで、破滅的な忘れを軽減し、平均的なパフォーマンスを確実にすることに焦点を当てている。
しかし、特に安全クリティカルな領域では、安全リスクや不確実性をもたらすだけでなく、既存の財産の再改良・再検証にもかなりの費用がかかる旧モデルの性能を厳格に維持できないため、多くの用途に不適当である。
この問題に対処するため、モデル開発プロセスにおいて、新しいモデルは、ターゲットタスクにおける性能を改善しつつ、旧モデルの既存の保護機能を厳格に保持すべきである、という学習システムの保証としてモデル開発安全を導入する。
モデル開発の安全性を確保するために,モデル開発の安全性をデータ依存制約として定式化し,安全性中心のフレームワークを提案する。
本フレームワークでは,新たな能力の獲得や,既存の画像分類能力の向上を目的とした事前学習型視覚言語モデル(CLIPモデル)の開発方法について検討する。
本稿では,CLIPモデルにタスク依存ヘッドを付与し,モデル開発安全を促進させる,理論的保証を備えた効率的な制約付き最適化アルゴリズムを提案する。
自律走行およびシーン認識データセットにおける視覚知覚能力の向上に関する実験は,提案手法の有効性を実証するものである。
関連論文リスト
- Merge to Learn: Efficiently Adding Skills to Language Models with Model Merging [102.16497861225358]
汎用言語モデルを新しいスキルに適用することは、現在、高価なプロセスである。
既存のモデルに新たなスキルを付加する効果について,新たなスキルを単独で訓練し,その後一般モデルとマージすることによって検討した。
論文 参考訳（メタデータ） (2024-10-16T18:23:50Z) - Active Learning for Robust and Representative LLM Generation in Safety-Critical Scenarios [32.16984263644299]
大きな言語モデル(LLM)は、安全対策のための貴重なデータを生成することができるが、しばしば分布バイアスを示す。
LLM生成を導くために,アクティブラーニングとクラスタリングを統合した新しいフレームワークを提案する。
この結果から,提案フレームワークは,基礎となるデータ分布の事前知識を必要とせずに,より代表的な安全シナリオを生成できることが示唆された。
論文 参考訳（メタデータ） (2024-10-14T21:48:14Z) - Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。
本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
論文 参考訳（メタデータ） (2024-08-14T13:01:30Z) - Safe Deep Model-Based Reinforcement Learning with Lyapunov Functions [2.50194939587674]
本稿では,未知のダイナミクスを用いた効率的なポリシー学習を実現するためのモデルベースRLフレームワークを提案する。
本稿では,モデルベースRLのトレーニングおよび政策学習における安全性制約を付加する新しい手法を紹介し,検討する。
論文 参考訳（メタデータ） (2024-05-25T11:21:12Z) - Robustness-Congruent Adversarial Training for Secure Machine Learning
Model Updates [13.911586916369108]
機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。
この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。
我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
論文 参考訳（メタデータ） (2024-02-27T10:37:13Z) - Data Quality Aware Approaches for Addressing Model Drift of Semantic
Segmentation Models [1.6385815610837167]
本研究では,戦闘モデルドリフトに対する2つの顕著な品質意識戦略について検討した。
前者は画像品質評価の指標を活用して、厳密に高品質なトレーニングデータを選択し、モデルの堅牢性を向上させる。
後者は、既存のモデルから学んだベクトル機能を利用して、将来のデータの選択をガイドし、モデルの以前の知識と整合させる。
論文 参考訳（メタデータ） (2024-02-11T18:01:52Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳（メタデータ） (2023-10-19T13:13:41Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳（メタデータ） (2022-11-27T21:43:45Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳（メタデータ） (2020-08-28T17:58:29Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。