論文の概要: Towards Neural Programming Interfaces

• arxiv url: http://arxiv.org/abs/2012.05983v2
• Date: Thu, 18 Feb 2021 04:38:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 08:33:02.782186
• Title: Towards Neural Programming Interfaces
• Title（参考訳）: ニューラルプログラミングインタフェースに向けて
• Authors: Zachary C. Brown, Nathaniel Robinson, David Wingate, Nancy Fulda
• Abstract要約: 自然言語生成制御の問題を,事前学習した言語モデルとインタフェースする学習の課題として再演した。 特殊ニューラルネットワークは、事前学習されたモデルの隠れたアクティベーションを操作することにより、事前学習された言語モデルとのインタフェースを学習する。 元のモデルの重みに恒久的な変更は行われず、新しいタスクのためにトレーニング済みのモデルを再利用することができます。
• 参考スコア（独自算出の注目度）: 6.88204255655161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is notoriously difficult to control the behavior of artificial neural networks such as generative neural language models. We recast the problem of controlling natural language generation as that of learning to interface with a pretrained language model, just as Application Programming Interfaces (APIs) control the behavior of programs by altering hyperparameters. In this new paradigm, a specialized neural network (called a Neural Programming Interface or NPI) learns to interface with a pretrained language model by manipulating the hidden activations of the pretrained model to produce desired outputs. Importantly, no permanent changes are made to the weights of the original model, allowing us to re-purpose pretrained models for new tasks without overwriting any aspect of the language model. We also contribute a new data set construction algorithm and GAN-inspired loss function that allows us to train NPI models to control outputs of autoregressive transformers. In experiments against other state-of-the-art approaches, we demonstrate the efficacy of our methods using OpenAI's GPT-2 model, successfully controlling noun selection, topic aversion, offensive speech filtering, and other aspects of language while largely maintaining the controlled model's fluency under deterministic settings.
• Abstract（参考訳）: 生成型ニューラルネットワークモデルのような人工的なニューラルネットワークの振る舞いを制御するのが難しいことで悪名高い。 ハイパーパラメータを変更することでプログラムの動作を制御するアプリケーションプログラミングインタフェース(api)のように、自然言語生成を学習して事前学習した言語モデルとインタフェースする問題を再キャストする。 この新しいパラダイムでは、ニューラルネットワーク(neural programming interface(npi)と呼ばれる)は、事前学習されたモデルの隠れたアクティベーションを操作して所望の出力を生成することにより、事前学習された言語モデルとのインタフェースを学習する。 重要なことは、元のモデルの重み付けに恒久的な変更は行われず、言語モデルのあらゆる側面を上書きすることなく、新しいタスクのために事前訓練されたモデルの再利用を可能にします。 また,NPIモデルを用いて自己回帰変換器の出力を制御できる新しいデータセット構築アルゴリズムとGANにインスパイアされた損失関数も提案する。 他の最先端手法に対する実験では,OpenAI の GPT-2 モデルを用いた手法の有効性を実証し,名詞選択,話題の逆転,攻撃的音声フィルタリング,その他の言語的側面の制御に成功した。

関連論文リスト

• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer [77.28871523946418]
  BatGPTは武漢大学と上海江東大学が共同で設計・訓練した大規模言語モデルである。 テキストプロンプト、画像、オーディオなど、さまざまなタイプの入力に応答して、非常に自然で、流動的なテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T15:10:01Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Revisiting Simple Neural Probabilistic Language Models [27.957834093475686]
  本稿では,Bengio2003ANPの神経確率言語モデル(NPLM)を再検討する。 現代のハードウェアにスケールアップすると、このモデルは単語レベルの言語モデルのベンチマークで期待以上にパフォーマンスが向上する。 この結果に触発され、最初の自己保持層をNPLMの局所連結層に置き換えることでトランスフォーマーを変更した。
  論文  参考訳（メタデータ） (2021-04-08T02:18:47Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。