論文の概要: Model Developmental Safety: A Safety-Centric Method and Applications in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2410.03955v1
- Date: Fri, 04 Oct 2024 22:34:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 18:02:16.990234
- Title: Model Developmental Safety: A Safety-Centric Method and Applications in Vision-Language Models
- Title(参考訳): モデル開発安全:視覚言語モデルにおける安全中心法とその応用
- Authors: Gang Li, Wendi Yu, Yao Yao, Wei Tong, Yingbin Liang, Qihang Lin, Tianbao Yang,
- Abstract要約: 本稿では,既存の画像分類能力向上のために,事前学習された視覚言語モデル(別名CLIPモデル)の開発方法について検討する。
自律走行とシーン認識データセットにおける視覚知覚能力の向上に関する実験は,提案手法の有効性を実証するものである。
- 参考スコア(独自算出の注目度): 75.8161094916476
- License:
- Abstract: In the real world, a learning-enabled system usually undergoes multiple cycles of model development to enhance the system's ability to handle difficult or emerging tasks. This continual model development process raises a significant issue that the model development for acquiring new or improving existing capabilities may inadvertently lose capabilities of the old model, also known as catastrophic forgetting. Existing continual learning studies focus on mitigating catastrophic forgetting by trading off performance on previous tasks and new tasks to ensure good average performance. However, they are inadequate for many applications especially in safety-critical domains, as failure to strictly preserve the performance of the old model not only introduces safety risks and uncertainties but also imposes substantial expenses in the re-improving and re-validation of existing properties. To address this issue, we introduce model developmental safety as a guarantee of a learning system such that in the model development process the new model should strictly preserve the existing protected capabilities of the old model while improving its performance on target tasks. To ensure the model developmental safety, we present a safety-centric framework by formulating the model developmental safety as data-dependent constraints. Under this framework, we study how to develop a pretrained vision-language model (aka the CLIP model) for acquiring new capabilities or improving existing capabilities of image classification. We propose an efficient constrained optimization algorithm with theoretical guarantee and use its insights to finetune a CLIP model with task-dependent heads for promoting the model developmental safety. Our experiments on improving vision perception capabilities on autonomous driving and scene recognition datasets demonstrate the efficacy of the proposed approach.
- Abstract(参考訳): 現実の世界では、学習可能なシステムは、通常、難しいタスクや新しいタスクを扱うシステムの能力を高めるために、モデル開発の複数のサイクルを経る。
この継続的モデル開発プロセスは、新しいものや既存の機能を改善するためのモデル開発が故意に旧モデルの能力を失うという重大な問題を提起する。
既存の継続的な学習研究は、過去のタスクのパフォーマンスと新しいタスクをトレードオフすることで、破滅的な忘れを軽減し、平均的なパフォーマンスを確実にすることに焦点を当てている。
しかし、特に安全クリティカルな領域では、安全リスクや不確実性をもたらすだけでなく、既存の財産の再改良・再検証にもかなりの費用がかかる旧モデルの性能を厳格に維持できないため、多くの用途に不適当である。
この問題に対処するため、モデル開発プロセスにおいて、新しいモデルは、ターゲットタスクにおける性能を改善しつつ、旧モデルの既存の保護機能を厳格に保持すべきである、という学習システムの保証としてモデル開発安全を導入する。
モデル開発の安全性を確保するために,モデル開発の安全性をデータ依存制約として定式化し,安全性中心のフレームワークを提案する。
本フレームワークでは,新たな能力の獲得や,既存の画像分類能力の向上を目的とした事前学習型視覚言語モデル(CLIPモデル)の開発方法について検討する。
本稿では,CLIPモデルにタスク依存ヘッドを付与し,モデル開発安全を促進させる,理論的保証を備えた効率的な制約付き最適化アルゴリズムを提案する。
自律走行およびシーン認識データセットにおける視覚知覚能力の向上に関する実験は,提案手法の有効性を実証するものである。
関連論文リスト
- Safe Deep Model-Based Reinforcement Learning with Lyapunov Functions [2.50194939587674]
本稿では,未知のダイナミクスを用いた効率的なポリシー学習を実現するためのモデルベースRLフレームワークを提案する。
本稿では,モデルベースRLのトレーニングおよび政策学習における安全性制約を付加する新しい手法を紹介し,検討する。
論文 参考訳(メタデータ) (2024-05-25T11:21:12Z) - Science based AI model certification for new operational environments with application in traffic state estimation [1.2186759689780324]
さまざまなエンジニアリング領域における人工知能(AI)の役割の拡大は、AIモデルを新たな運用環境にデプロイする際の課題を強調している。
本稿では,新しい運用環境における事前学習型データ駆動モデルの適用可能性を評価するための,科学ベースの認証手法を提案する。
論文 参考訳(メタデータ) (2024-05-13T16:28:00Z) - Robustness-Congruent Adversarial Training for Secure Machine Learning
Model Updates [13.911586916369108]
機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。
この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。
我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
論文 参考訳(メタデータ) (2024-02-27T10:37:13Z) - Data Quality Aware Approaches for Addressing Model Drift of Semantic
Segmentation Models [1.6385815610837167]
本研究では,戦闘モデルドリフトに対する2つの顕著な品質意識戦略について検討した。
前者は画像品質評価の指標を活用して、厳密に高品質なトレーニングデータを選択し、モデルの堅牢性を向上させる。
後者は、既存のモデルから学んだベクトル機能を利用して、将来のデータの選択をガイドし、モデルの以前の知識と整合させる。
論文 参考訳(メタデータ) (2024-02-11T18:01:52Z) - Deep autoregressive density nets vs neural ensembles for model-based
offline reinforcement learning [2.9158689853305693]
本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。
このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。
D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
論文 参考訳(メタデータ) (2024-02-05T10:18:15Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳(メタデータ) (2023-10-19T13:13:41Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳(メタデータ) (2022-11-27T21:43:45Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳(メタデータ) (2020-08-28T17:58:29Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。