論文の概要: DiNADO: Norm-Disentangled Neurally-Decomposed Oracles for Controlling Language Models

• arxiv url: http://arxiv.org/abs/2306.11825v2
• Date: Thu, 6 Jun 2024 21:01:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 21:06:02.216477
• Title: DiNADO: Norm-Disentangled Neurally-Decomposed Oracles for Controlling Language Models
• Title（参考訳）: DiNADO: 言語モデルを制御するためのノーム距離ニューラル分解型Oracle
• Authors: Sidi Lu, Wenbo Zhao, Chenyang Tao, Arpit Gupta, Shanchan Wu, Tagyoung Chung, Nanyun Peng,
• Abstract要約: NeurAlly-Decomposed Oracle (NADO)は、大きな言語モデルで制御可能な生成のための強力なアプローチである。 バニラNADOは低確率制御信号の減衰勾配に悩まされる。 本稿では,NADOアルゴリズムの性能向上を図るために,NADOアルゴリズムの改良版であるDiNADOを提案する。
• 参考スコア（独自算出の注目度）: 55.06442277395388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NeurAlly-Decomposed Oracle (NADO) is a powerful approach for controllable generation with large language models. It is designed to avoid catastrophic forgetting while achieving guaranteed convergence to an entropy-maximized closed-form optimal solution with reasonable modeling capacity. Despite the success, several challenges arise when apply NADO to a wide range of scenarios. Vanilla NADO suffers from gradient vanishing for low-probability control signals and is highly reliant on a regularization to satisfy the stochastic version of Bellman equation. In addition, the vanilla implementation of NADO introduces a few additional transformer layers, suffering from a limited capacity especially compared to other finetune-based model adaptation methods like LoRA. In this paper, we propose a improved version of the NADO algorithm, namely DiNADO (norm-Disentangled NeurAlly-Decomposed Oracles), which improves the performance of the NADO algorithm through disentangling the step-wise global norm over the approximated oracle $R$-value for all potential next-tokens, allowing DiNADO to be combined with finetuning methods like LoRA. We discuss in depth how DiNADO achieves better capacity, stability and flexibility with both empirical and theoretical results. Experiments on formality control in machine translation and the lexically constrained generation task CommonGen demonstrates the significance of the improvements.
• Abstract（参考訳）: NeurAlly-Decomposed Oracle (NADO)は、大きな言語モデルで制御可能な生成のための強力なアプローチである。 適切なモデリング能力を持つエントロピー最大化された閉形式最適解への保証された収束を達成しつつ、破滅的な忘れを避けるように設計されている。 成功にもかかわらず、NADOを幅広いシナリオに適用する場合、いくつかの課題が生じる。 バニラNADOは低確率制御信号の勾配消滅に悩まされており、ベルマン方程式の確率バージョンを満たすための正規化に非常に依存している。 さらに、NADOのバニラ実装ではいくつかのトランスフォーマー層が導入されており、特にLoRAのようなファインチューンベースのモデル適応手法と比較して、容量が限られている。 本稿では,DiNADOアルゴリズムの改良版であるDiNADO(norm-Disentangled NeurAlly-Decomposed Oracles)を提案する。 実験結果と理論的結果の両方で,DiNADOが優れたキャパシティ,安定性,柔軟性を実現する方法について深く議論する。 機械翻訳における形式制御と語彙制約付き生成タスクCommonGenの実験は、改善の重要性を示している。

関連論文リスト

• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
  我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。 制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
  論文  参考訳（メタデータ） (2022-05-27T20:17:53Z)
• Energy-Based Models for Code Generation under Compilability Constraints [2.9176992922046923]
  本研究では,コンパイル可能なコードを制約満足度として生成する学習の課題を提起する。 本稿では,コンパイル可能なシーケンスのみを生成する制約を課した,事前学習された生成モデルを表すEnergy-Based Model(EBM)を定義する。 次に,KL-Adaptive Distributional Policy Gradientアルゴリズムを用いて,EMMを近似した生成モデルを訓練する。
  論文  参考訳（メタデータ） (2021-06-09T11:06:32Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。