論文の概要: When in Doubt, Cascade: Towards Building Efficient and Capable Guardrails

• arxiv url: http://arxiv.org/abs/2407.06323v1
• Date: Mon, 8 Jul 2024 18:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 22:03:20.937997
• Title: When in Doubt, Cascade: Towards Building Efficient and Capable Guardrails
• Title（参考訳）: キャッケード(Cascade) - 効果的で有能なガードレール建設を目指して
• Authors: Manish Nagireddy, Inkit Padhi, Soumya Ghosh, Prasanna Sattigeri,
• Abstract要約: ターゲットデータとラベルデータを生成する合成パイプラインを開発した。 提案手法は,計算コストのごく一部で競争性能を達成できることを示す。
• 参考スコア（独自算出の注目度）: 19.80434777786657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have convincing performance in a variety of downstream tasks. However, these systems are prone to generating undesirable outputs such as harmful and biased text. In order to remedy such generations, the development of guardrail (or detector) models has gained traction. Motivated by findings from developing a detector for social bias, we adopt the notion of a use-mention distinction - which we identified as the primary source of under-performance in the preliminary versions of our social bias detector. Armed with this information, we describe a fully extensible and reproducible synthetic data generation pipeline which leverages taxonomy-driven instructions to create targeted and labeled data. Using this pipeline, we generate over 300K unique contrastive samples and provide extensive experiments to systematically evaluate performance on a suite of open source datasets. We show that our method achieves competitive performance with a fraction of the cost in compute and offers insight into iteratively developing efficient and capable guardrail models. Warning: This paper contains examples of text which are toxic, biased, and potentially harmful.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な下流タスクで性能を納得させる。 しかし、これらのシステムは有害テキストやバイアステキストなどの望ましくない出力を生成する傾向にある。 このような世代を治療するために、ガードレール(または検出器)モデルの開発が推進されている。 社会的偏見検知器の開発から得られた知見から,我々は,社会的偏見検出器の予備バージョンにおける性能低下の原因として,使用感の区別の概念を取り入れた。 この情報を利用して、分類学駆動の指示を利用してターゲットデータとラベル付きデータを生成する、完全に拡張可能で再現可能な合成データ生成パイプラインを記述する。 このパイプラインを使用して、300万以上のユニークなコントラストサンプルを生成し、オープンソースのデータセットスイートのパフォーマンスを体系的に評価するための広範な実験を提供します。 提案手法は,計算コストのごく一部で競合性能を達成し,効率的かつ有能なガードレールモデルを反復的に開発する上での知見を提供する。 警告: 本論文は、有害でバイアスがあり、潜在的に有害なテキストの例を含む。

関連論文リスト

• CorrSynth -- A Correlated Sampling Method for Diverse Dataset Generation from LLMs [5.89889361990138]
  大規模言語モデル(LLM)は、ゼロショットプロンプトと少数ショットプロンプトを使用して、多様なタスクにおいて顕著な性能を示した。 本研究では,下流の課題に対して,学生モデルが訓練されるような,多様性の高いデータセットを生成するという課題に取り組む。 復号時間誘導に基づくアプローチの経路を考慮し、相関したサンプリング戦略を用いて、入力プロンプトにより多様で忠実なデータを生成するCorr Synthを提案する。
  論文  参考訳（メタデータ） (2024-11-13T12:09:23Z)
• Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
  拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。 本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。 提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
  論文  参考訳（メタデータ） (2024-09-13T02:23:55Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
  本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
  論文  参考訳（メタデータ） (2024-03-04T19:38:50Z)
• Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
  頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。 まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
  論文  参考訳（メタデータ） (2023-06-01T19:04:17Z)
• Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
  オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。 入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。 私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
  論文  参考訳（メタデータ） (2023-03-28T21:02:35Z)
• Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
  Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。 我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。 この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
  論文  参考訳（メタデータ） (2021-12-17T20:10:00Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。