論文の概要: Towards Red Teaming in Multimodal and Multilingual Translation

• arxiv url: http://arxiv.org/abs/2401.16247v1
• Date: Mon, 29 Jan 2024 15:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 14:18:16.346556
• Title: Towards Red Teaming in Multimodal and Multilingual Translation
• Title（参考訳）: マルチモーダル・多言語翻訳におけるレッドチーム化に向けて
• Authors: Christophe Ropers, David Dale, Prangthip Hansanti, Gabriel Mejia Gonzalez, Ivan Evtimov, Corinne Wong, Christophe Touret, Kristina Pereyra, Seohyun Sonia Kim, Cristian Canton Ferrer, Pierre Andrews and Marta R. Costa-juss\`a
• Abstract要約: 本稿では,機械翻訳のための人間によるレッド・チーム化に関する最初の研究について述べる。 これは翻訳モデルの性能を理解し改善するための重要なステップである。 我々は、学習した教訓を報告し、翻訳モデルとレッドチームドリルの両方に推奨する。
• 参考スコア（独自算出の注目度）: 7.440772334845366
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Assessing performance in Natural Language Processing is becoming increasingly complex. One particular challenge is the potential for evaluation datasets to overlap with training data, either directly or indirectly, which can lead to skewed results and overestimation of model performance. As a consequence, human evaluation is gaining increasing interest as a means to assess the performance and reliability of models. One such method is the red teaming approach, which aims to generate edge cases where a model will produce critical errors. While this methodology is becoming standard practice for generative AI, its application to the realm of conditional AI remains largely unexplored. This paper presents the first study on human-based red teaming for Machine Translation (MT), marking a significant step towards understanding and improving the performance of translation models. We delve into both human-based red teaming and a study on automation, reporting lessons learned and providing recommendations for both translation models and red teaming drills. This pioneering work opens up new avenues for research and development in the field of MT.
• Abstract（参考訳）: 自然言語処理の性能評価はますます複雑になっている。 特定の課題の1つは、評価データセットが直接または間接的にトレーニングデータと重複し、歪んだ結果とモデルパフォーマンスの過大評価につながる可能性があることである。 その結果、モデルの性能と信頼性を評価する手段としての人間評価への関心が高まっている。 このような方法のひとつがred teamingアプローチで、モデルが重大なエラーを発生させるエッジケースの生成を目的としている。 この方法論は、生成AIの標準的実践になりつつあるが、条件付きAIの領域への応用は、いまだほとんど解明されていない。 本稿では,機械翻訳(MT)の人間によるレッド・チーム化に関する最初の研究を行い,翻訳モデルの理解と性能向上に向けた重要なステップを示す。 私たちは、人間ベースのred teamingと自動化、学んだ教訓の報告、翻訳モデルとred teaming drillの両方に推奨を提供する研究の両方を調べました。 この先駆的な研究は、MT分野の研究と開発のための新たな道を開く。

関連論文リスト

• Self-Evolved Reward Learning for LLMs [45.6910747154447]
  RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。 本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。 以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T07:29:03Z)
• Rethinking Human-like Translation Strategy: Integrating Drift-Diffusion Model with Large Language Models for Machine Translation [15.333148705267012]
  本稿では,人間翻訳者の動的意思決定を制約リソース下でエミュレートするために,Drift-Diffusion Modelを用いたThinkerを提案する。 WMT22とCommonMTのデータセットを用いて、高リソース、低リソース、コモンセンスの翻訳設定で実験を行う。 また,提案手法の有効性と有効性を示すために,コモンセンス翻訳のさらなる分析と評価を行う。
  論文  参考訳（メタデータ） (2024-02-16T14:00:56Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned [10.836210010868932]
  3つのモデルサイズ(2.7B, 13B, 52Bパラメータ)と4つのモデルタイプにまたがるレッド・チームリングのスケーリング挙動について検討した。 私たちは38,961人のレッドチームによる攻撃のデータセットをリリースし、他者が分析し、そこから学びます。
  論文  参考訳（メタデータ） (2022-08-23T23:37:14Z)
• Efficient Entity Candidate Generation for Low-Resource Languages [13.789451365205665]
  候補生成はエンティティリンクにおいて重要なモジュールである。 知識ベースを効果的に活用することが証明された複数のNLPタスクにおいて重要な役割を果たす。 本稿では,言語間エンティティリンクの文脈における候補生成問題の詳細な分析を行う。
  論文  参考訳（メタデータ） (2022-06-30T09:49:53Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning [27.86606560170401]
  unsupervised neural machine translation (UNMT) のための新しいメタ学習アルゴリズムを提案する。 私たちは、少量のトレーニングデータだけを利用して、別のドメインに適応するようにモデルを訓練します。 我々のモデルは、最大2-4 BLEUスコアの転送学習に基づくアプローチを超越している。
  論文  参考訳（メタデータ） (2020-10-18T17:54:13Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。