論文の概要: Failures Are Fated, But Can Be Faded: Characterizing and Mitigating Unwanted Behaviors in Large-Scale Vision and Language Models

• arxiv url: http://arxiv.org/abs/2406.07145v2
• Date: Thu, 13 Jun 2024 03:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 18:03:47.141896
• Title: Failures Are Fated, But Can Be Faded: Characterizing and Mitigating Unwanted Behaviors in Large-Scale Vision and Language Models
• Title（参考訳）: 失敗は失敗に終わる - 大規模ビジョンと言語モデルにおける不要な振る舞いの特性と緩和
• Authors: Som Sagar, Aditya Taparia, Ransalu Senanayake,
• Abstract要約: 多くのタスクで驚くほどうまく機能しているように見える大きなディープニューラルネットワークでは、精度、社会的バイアス、人間の価値観との整合性に関連するいくつかの障害も観察します。 本研究では,事前学習した識別モデルと生成モデルを用いて,エンフディープ強化学習を用いて,障害モードの景観を探索・構築するポストホック手法を提案する。 提案手法の有効性を,コンピュータビジョン,自然言語処理,視覚言語タスクで実証的に示す。
• 参考スコア（独自算出の注目度）: 7.736445799116692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large deep neural networks that seem to perform surprisingly well on many tasks, we also observe a few failures related to accuracy, social biases, and alignment with human values, among others. Therefore, before deploying these models, it is crucial to characterize this failure landscape for engineers to debug and legislative bodies to audit models. Nevertheless, it is infeasible to exhaustively test for all possible combinations of factors that could lead to a model's failure. In this paper, we introduce a post-hoc method that utilizes \emph{deep reinforcement learning} to explore and construct the landscape of failure modes in pre-trained discriminative and generative models. With the aid of limited human feedback, we then demonstrate how to restructure the failure landscape to be more desirable by moving away from the discovered failure modes. We empirically show the effectiveness of the proposed method across common Computer Vision, Natural Language Processing, and Vision-Language tasks.
• Abstract（参考訳）: 多くのタスクで驚くほどうまく機能しているように見える大きなディープニューラルネットワークでは、正確性や社会的バイアス、人的価値との整合性に関連するいくつかの障害も観察しています。 したがって、これらのモデルをデプロイする前には、エンジニアがモデルをデバッグし、立法機関がモデルを監査する上で、この失敗の状況を特徴付けることが重要です。 それでも、モデルの失敗につながる可能性のあるすべての要因の組み合わせを徹底的にテストすることは不可能である。 本稿では,<emph{deep reinforcement learning} を用いて,事前学習による識別・生成モデルにおいて,障害モードのランドスケープを探索・構築するポストホック手法を提案する。 限られた人間のフィードバックの助けを借りて、発見された障害モードから離れることで、障害状況の再構築をより望ましいものにする方法を実証します。 提案手法の有効性を,コンピュータビジョン,自然言語処理,視覚言語タスクで実証的に示す。

関連論文リスト

• LLM-Assisted Red Teaming of Diffusion Models through "Failures Are Fated, But Can Be Faded" [7.736445799116692]
  『失敗は太っているが、消えることがある』は、事前学習された世代モデルにおける失敗の状況を探究し、構築するための枠組みである。 発見された障害モードから離れることで、障害状況の再構築をより望ましいものにする方法を示します。
  論文  参考訳（メタデータ） (2024-10-22T06:46:09Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models [55.07988373824348]
  既存の3つのロボット基礎モデルの視覚的一般化能力について検討する。 本研究は,既存のモデルがドメイン外シナリオに対する堅牢性を示していないことを示す。 モデルマージに基づく段階的なバックボーンリバーサルアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-23T17:47:59Z)
• What could go wrong? Discovering and describing failure modes in computer vision [27.6114923305978]
  言語に基づく誤り説明可能性(LBEE)の問題を定式化する。 我々は,共同視覚・言語埋め込み空間で機能するソリューションを提案する。 提案手法は,特定の誤りの原因に関連する非自明な文を分離する。
  論文  参考訳（メタデータ） (2024-08-08T14:01:12Z)
• Partially Recentralization Softmax Loss for Vision-Language Models Robustness [8.78222772167501]
  事前学習したマルチモーダルモデルの損失関数を変更することで得られる対向的ロバスト性について検討する。 実験の結果、訓練済みモデルの微調整後、一般的な攻撃に対して、逆方向の頑健性を大幅に改善できることが判明した。
  論文  参考訳（メタデータ） (2024-02-06T01:44:38Z)
• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Human-Understandable Decision Making for Visual Recognition [30.30163407674527]
  モデル学習プロセスに人間の知覚の優先順位を組み込むことにより,深層ニューラルネットワークを訓練する新たなフレームワークを提案する。 提案モデルの有効性を2つの古典的視覚認識タスクで評価する。
  論文  参考訳（メタデータ） (2021-03-05T02:07:33Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。