論文の概要: Efficient Sample-Specific Encoder Perturbations

• arxiv url: http://arxiv.org/abs/2405.01601v1
• Date: Wed, 1 May 2024 08:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 15:04:28.238166
• Title: Efficient Sample-Specific Encoder Perturbations
• Title（参考訳）: 効率的なサンプル特異的エンコーダ摂動
• Authors: Yassir Fathullah, Mark J. F. Gales,
• Abstract要約: 凍結基礎モデルのエンコーダ出力のサンプル・バイ・サンプル摂動を求めるために,小さなプロキシ・ネットワークが利用できることを示す。 その結果,COMET と WER で評価した性能は一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 37.84914870036184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Encoder-decoder foundation models have displayed state-of-the-art performance on a range of autoregressive sequence tasks. This paper proposes a simple and lightweight modification to such systems to control the behaviour according to a specific attribute of interest. This paper proposes a novel inference-efficient approach to modifying the behaviour of an encoder-decoder system according to a specific attribute of interest. Specifically, we show that a small proxy network can be used to find a sample-by-sample perturbation of the encoder output of a frozen foundation model to trigger the decoder to generate improved decodings. This work explores a specific realization of this framework focused on improving the COMET performance of Flan-T5 on Machine Translation and the WER of Whisper foundation models on Speech Recognition. Results display consistent improvements in performance evaluated through COMET and WER respectively. Furthermore, experiments also show that the proxies are robust to the exact nature of the data used to train them and can extend to other domains.
• Abstract（参考訳）: Encoder-decoderファウンデーションモデルは、さまざまな自動回帰シーケンスタスクに対して最先端のパフォーマンスを示す。 本稿では,そのようなシステムに対して,興味のある特定の属性に応じて動作を制御するための,シンプルで軽量な修正を提案する。 本稿では,エンコーダ・デコーダシステムの動作を興味のある属性に応じて変更するための,新しい推論効率のアプローチを提案する。 具体的には,凍結基盤モデルのエンコーダ出力のサンプル・バイ・サンプル・イン・サンプルの摂動を求めるために,小さなプロキシ・ネットワークを用いてデコーダをトリガーし,改良されたデコーダを生成することを示す。 本研究は,機械翻訳におけるFlan-T5のCOMET性能向上と,音声認識におけるWhisper基礎モデルのWERに着目した,このフレームワークの具体的実現について検討する。 その結果、COMETとWERで評価された性能が一貫した改善を示した。 さらに、実験により、プロキシはトレーニングに使用するデータの正確な性質に対して堅牢であり、他のドメインにも拡張可能であることも示している。

関連論文リスト

• $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
  生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。 現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。 具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。 再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• PAGE: Parametric Generative Explainer for Graph Neural Network [16.350208494261913]
  PAGEは、事前の知識や内部の詳細を必要とせずに、グラフニューラルネットワークに対して忠実な説明を提供することができる。 我々は,潜在因果関係の特徴とモデル出力の因果関係を捉えるために,新たな判別器を導入する。 既存の方法と比較して、PAGEはノードやエッジではなく、サンプルスケールで動作する。
  論文  参考訳（メタデータ） (2024-08-26T06:39:49Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Hyperdecoders: Instance-specific decoders for multi-task NLP [9.244884318445413]
  NLPにおけるマルチタスクのための入力条件付きハイパーネットワークについて検討する。 我々は,エンコーダの出力に条件付きハイパーネットワークを用いて,デコーダのパラメータ効率適応を生成する。
  論文  参考訳（メタデータ） (2022-03-15T22:39:53Z)
• AttentionHTR: Handwritten Text Recognition Based on Attention Encoder-Decoder Networks [0.0]
  本研究は,手書き単語認識のための注目に基づくシーケンス・ツー・シーケンス・モデルを提案する。 シーンテキストイメージに事前トレーニングされたモデルを、手書き認識モデルのカスタマイズに向けた出発点として活用する。 提案したエンドツーエンドHTRシステムの有効性は、新しいマルチライターデータセットで実証的に評価されている。
  論文  参考訳（メタデータ） (2022-01-23T22:48:36Z)
• Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
  トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。 これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。 この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
  論文  参考訳（メタデータ） (2021-09-08T19:32:42Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。