論文の概要: Goodtriever: Adaptive Toxicity Mitigation with Retrieval-augmented Models

• arxiv url: http://arxiv.org/abs/2310.07589v1
• Date: Wed, 11 Oct 2023 15:30:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 22:12:52.319253
• Title: Goodtriever: Adaptive Toxicity Mitigation with Retrieval-augmented Models
• Title（参考訳）: Goodtriever: 検索強化モデルによる適応的毒性軽減
• Authors: Luiza Pozzobon, Beyza Ermis, Patrick Lewis, Sara Hooker
• Abstract要約: Goodtrieverは、現在の最先端の毒性軽減と一致するフレキシブルな方法論である。 復号時間に検索ベースのアプローチを導入することで、Goodtrieverは毒性制御されたテキスト生成を可能にする。
• 参考スコア（独自算出の注目度）: 11.805944680474823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considerable effort has been dedicated to mitigating toxicity, but existing methods often require drastic modifications to model parameters or the use of computationally intensive auxiliary models. Furthermore, previous approaches have often neglected the crucial factor of language's evolving nature over time. In this work, we present a comprehensive perspective on toxicity mitigation that takes into account its changing nature. We introduce Goodtriever, a flexible methodology that matches the current state-of-the-art toxicity mitigation while achieving 43% relative latency reduction during inference and being more computationally efficient. By incorporating a retrieval-based approach at decoding time, Goodtriever enables toxicity-controlled text generation. Our research advocates for an increased focus on adaptable mitigation techniques, which better reflect the data drift models face when deployed in the wild. Code and data are available at https://github.com/for-ai/goodtriever.
• Abstract（参考訳）: 毒性の緩和に多大な努力が払われてきたが、既存の手法ではモデルパラメータや計算集約的な補助モデルの使用に対して劇的な修正が必要となることが多い。 さらに、以前のアプローチは、時とともに言語が進化する重要な要素を無視することが多い。 本研究では,その性質の変化を考慮した毒性緩和の総合的な展望を示す。 goodtrieverは,現在最先端の毒性軽減に適合する柔軟な手法であると同時に,推論中に相対レイテンシ低減を43%達成し,計算効率も向上している。 検索ベースのアプローチをデコード時に組み込むことで、goodtrieverは毒性制御テキスト生成を可能にする。 我々の研究は、適応可能な緩和技術に重点を置き、野生に展開する際のデータドリフトモデルをよりよく反映することを提唱している。 コードとデータはhttps://github.com/for-ai/goodtrieverで入手できる。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Harmful algal bloom forecasting. A comparison between stream and batch learning [0.7067443325368975]
  有害なアルガルブルーム(HAB)は公衆衛生と貝類産業にリスクをもたらす。 本研究では,有毒なジノフラゲレートの細胞数を予測する機械学習ワークフローを開発した。 モデルDoMEは最も効果的で解釈可能な予測器として登場し、他のアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-20T15:01:11Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
  悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。 データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。 ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
  論文  参考訳（メタデータ） (2023-06-28T17:59:35Z)
• Temporal Robustness against Data Poisoning [69.01705108817785]
  データ中毒は、悪意のあるトレーニングデータを通じて、敵対者が機械学習アルゴリズムの振る舞いを操作する場合を考慮している。 本研究では,攻撃開始時間と攻撃持続時間を測定する2つの新しい指標である耳線と持続時間を用いたデータ中毒の時間的脅威モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:59:19Z)
• Cyberbullying Classifiers are Sensitive to Model-Agnostic Perturbations [15.152559543181523]
  本研究は,サイバーバブル検出における敵行動と増強の効果について,初めて検討したものである。 モデル非依存の語彙置換が性能を著しく損なうことを示す。 毒性に関する先行研究で提案された増強は効果が低いことが証明された。
  論文  参考訳（メタデータ） (2022-01-17T12:48:27Z)
• ToxCCIn: Toxic Content Classification with Interpretability [16.153683223016973]
  ソーシャルメディア上での攻撃言語や毒性検出などのタスクには説明が重要です。 単純かつ強力な仮定に基づき,トランスモデルの解釈性を改善する手法を提案する。 このアプローチは,ロジスティック回帰分析によって提供されるものの品質を超える説明を生成できる。
  論文  参考訳（メタデータ） (2021-03-01T22:17:10Z)
• An Optimal Control Approach to Learning in SIDARTHE Epidemic model [67.22168759751541]
  本研究では,疫病データから動的コンパートメンタルモデルの時間変化パラメータを学習するための一般的な手法を提案する。 我々はイタリアとフランスの疫病の進化を予報する。
  論文  参考訳（メタデータ） (2020-10-28T10:58:59Z)
• RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models [93.151822563361]
  事前訓練されたニューラルネットワークモデル(LM)は、安全なデプロイメントを妨げる人種差別的、性差別的、その他の有害な言語を生成する傾向にある。 本研究では, 予め訓練したLMが有害な言語を生成できる範囲と, 有害な変性を防止するための制御可能なテキスト生成アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2020-09-24T03:17:19Z)
• DeepHazard: neural network for time-varying risks [0.6091702876917281]
  生存予測のための新しいフレキシブルな手法,DeepHazardを提案する。 我々のアプローチは、時間内に添加物としてのみ制限される、広範囲の継続的なハザード形態に適合している。 数値的な例では,我々の手法は,C-インデックス計量を用いて評価された予測能力において,既存の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-26T21:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。