論文の概要: Prompt Gating: A Parameter Efficient Tuning Method for Zero-Shot Multi-Source Translation

• arxiv url: http://arxiv.org/abs/2212.09387v1
• Date: Mon, 19 Dec 2022 11:53:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 14:41:03.089473
• Title: Prompt Gating: A Parameter Efficient Tuning Method for Zero-Shot Multi-Source Translation
• Title（参考訳）: プロンプトゲーティング:ゼロショット多元翻訳のためのパラメータ効率的なチューニング法
• Authors: Xuancheng Huang, Zijun Liu, Peng Li, Maosong Sun, Yang Liu
• Abstract要約: マルチソース翻訳(MST)は通常、異なる言語で同じ意味の複数のソース文を受け取る。 モデル入力にプロンプトを付加し,各エンコーダ層に対して拡張された隠れ状態にゲートを付加する。 強いゼロショット転送可能性(最大で+9.0 BLEU点)と、MST上の顕著な合成性(最大で+15.6 BLEU点)を示すとともに、語彙的に制約された翻訳のベースラインよりもその優位性を示す。
• 参考スコア（独自算出の注目度）: 72.74873374675846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-source translation (MST), which typically receives multiple source sentences of the same meaning in different languages, has been shown superior to single-source translation. As the quantity of multi-source parallel data is limited, taking full advantage of single-source data and limited multi-source data to make models perform well when receiving as many as possible sources remains a challenge. Unlike previous work mostly devoted to supervised scenarios, we focus on zero-shot MST: expecting models to be able to process unseen combinations of multiple sources, e.g., unseen language combinations, during inference. We propose a simple yet effective parameter efficient method, named Prompt Gating, which appends prompts to the model inputs and attaches gates on the extended hidden states for each encoder layer. It shows strong zero-shot transferability (+9.0 BLEU points maximally) and remarkable compositionality (+15.6 BLEU points maximally) on MST, and also shows its superiorities over baselines on lexically constrained translation.
• Abstract（参考訳）: 通常、異なる言語で同じ意味の複数のソース文を受け取るマルチソース翻訳(MST)は、単一ソース翻訳よりも優れていることが示されている。 マルチソース並列データの量は限られているため、単一ソースデータと限定されたマルチソースデータを活用することで、可能な限り多くのソースを受信した場合にモデルがうまく機能するようにすることは課題である。 モデルが複数のソース(例えば、未認識の言語の組み合わせ)の未認識の組み合わせを、推論中に処理できることを期待しています。 本稿では,モデル入力にプロンプトを付加し,エンコーダ層毎に拡張した隠れ状態にゲートをアタッチする,簡易かつ効率的なプロンプトゲーティング法を提案する。 mst上では強いゼロショット転送性(+9.0 ブレウ点)と顕著な合成性(+15.6 ブレウ点)を示し、語彙的に制約された翻訳のベースラインよりも優れていることを示している。

関連論文リスト

• Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences [49.86129209397701]
  本稿では,この問題を解決するためにConstraints First Frameworkを提案する。 これは、言語特性とより古典的な制約を組み合わせた制約プログラミング手法によって解決される。 このアプローチの有効性は、より退屈な制約付きテキスト生成問題に取り組むことで実証される。
  論文  参考訳（メタデータ） (2024-06-15T17:40:49Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• A Distributional Lens for Multi-Aspect Controllable Text Generation [17.97374410245602]
  マルチアスペクト制御可能なテキスト生成は、単一アスペクト制御よりも困難で実用的なタスクである。 既存手法は, 単一アスペクトから学習した複数のコントローラを融合することにより, 複雑なマルチアスペクト制御を実現する。 本稿では,複数属性分布の交点領域を直接探索して生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:08:04Z)
• Controllable Natural Language Generation with Contrastive Prefixes [120.12778570283956]
  GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
  論文  参考訳（メタデータ） (2022-02-27T00:31:03Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Controlled Text Generation as Continuous Optimization with Multiple Constraints [23.71027518888138]
  事前学習したモデルから制御可能な推論を行うためのフレキシブルでモジュラーなアルゴリズムを提案する。 所望のテキストを生成するために,ラグランジアン乗算器と勾配差に基づく手法を用いる。 我々は,複数の文レベル属性を用いた制御可能な機械翻訳とスタイル変換のアプローチを評価する。
  論文  参考訳（メタデータ） (2021-08-04T05:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。