論文の概要: Regression Transformer: Concurrent Conditional Generation and Regression by Blending Numerical and Textual Tokens

• arxiv url: http://arxiv.org/abs/2202.01338v1
• Date: Tue, 1 Feb 2022 08:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 13:34:35.650886
• Title: Regression Transformer: Concurrent Conditional Generation and Regression by Blending Numerical and Textual Tokens
• Title（参考訳）: 回帰変換器:数値およびテクスチュアルトークンのブレンディングによるコンカレント条件生成と回帰
• Authors: Jannis Born, Matteo Manica
• Abstract要約: Regression Transformer (RT)は、数値トークンのシーケンスとして連続プロパティをキャストし、それらを従来のトークンと共同でエンコードする。 我々はXLNetの目的に対するいくつかの拡張を提案し、プロパティ予測と条件テキスト生成を同時に最適化する交互トレーニングスキームを採用する。 このことは、特にプロパティ駆動で、化学またはタンパク質空間の局所的な探索に応用される。
• 参考スコア（独自算出の注目度）: 3.421506449201873
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We report the Regression Transformer (RT), a method that abstracts regression as a conditional sequence modeling problem. The RT casts continuous properties as sequences of numerical tokens and encodes them jointly with conventional tokens. This yields a dichotomous model that can seamlessly transition between solving regression tasks and conditional generation tasks; solely governed by the mask location. We propose several extensions to the XLNet objective and adopt an alternating training scheme to concurrently optimize property prediction and conditional text generation based on a self-consistency loss. Our experiments on both chemical and protein languages demonstrate that the performance of traditional regression models can be surpassed despite training with cross entropy loss. Importantly, priming the same model with continuous properties yields a highly competitive conditional generative models that outperforms specialized approaches in a constrained property optimization benchmark. In sum, the Regression Transformer opens the door for "swiss army knife" models that excel at both regression and conditional generation. This finds application particularly in property-driven, local exploration of the chemical or protein space.
• Abstract（参考訳）: 本稿では,回帰を条件列モデリング問題として抽象化するレグレッショントランスフォーマ(rt)について報告する。 RTは数値トークンのシーケンスとして連続性をキャストし、それらを従来のトークンとともにエンコードする。 これにより、回帰タスクと条件生成タスクの間をシームレスに移行できる双対モデルが得られ、マスク位置によってのみ支配される。 我々は,XLNetの目的に対するいくつかの拡張を提案し,自己整合性損失に基づくプロパティ予測と条件文生成を同時に最適化する交互学習手法を採用した。 ケミカルおよびタンパクの両言語における実験により,クロスエントロピー損失の訓練にもかかわらず,従来の回帰モデルの性能を超越できることを示した。 重要なことに、同じモデルを連続的な特性でプライミングすると、制約された特性最適化ベンチマークにおいて、特別なアプローチよりも優れた競合条件生成モデルが得られる。 要するにRegression Transformerは、レグレッションと条件生成の両方で優れている"swiss Army knife"モデルのドアを開く。 このことは、特にプロパティ駆動で、化学またはタンパク質空間の局所的な探索に応用される。

関連論文リスト

• RS-Reg: Probabilistic and Robust Certified Regression Through Randomized Smoothing [19.03441416869426]
  我々は $ell$ norm を用いて入力データポイント上の上限を設定する方法を示す。 次に、出力が有界な回帰モデルの族を扱う際に、摂動入力の認証された上限を導出する。 シミュレーションにより, 理論結果の有効性を検証し, 単純な平滑化関数の利点と限界を明らかにする。
  論文  参考訳（メタデータ） (2024-05-14T18:10:46Z)
• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• GenFormer: A Deep-Learning-Based Approach for Generating Multivariate Stochastic Processes [5.679243827959339]
  本稿では,マルコフ状態列と時系列値のマッピングを学習するトランスフォーマーに基づくディープラーニングモデルを提案する。 GenFormerモデルを用いて,フロリダ州各地の風速データをシミュレーションし,リスク管理のための超越確率を計算する。
  論文  参考訳（メタデータ） (2024-02-03T03:50:18Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
  我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。 エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。 一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
  論文  参考訳（メタデータ） (2023-07-03T08:19:00Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• SymbolicGPT: A Generative Transformer Model for Symbolic Regression [3.685455441300801]
  シンボル回帰のための新しいトランスフォーマーベース言語モデルであるSybolicGPTを提案する。 本モデルでは,精度,実行時間,データ効率に関して,競合モデルと比較して高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-27T03:26:35Z)
• Decision Transformer: Reinforcement Learning via Sequence Modeling [102.86873656751489]
  本稿では,シーケンスモデリング問題として強化学習(RL)を抽象化するフレームワークを提案する。 本稿では,RLを条件付きシーケンスモデルとして扱うアーキテクチャであるDecision Transformerを提案する。 その単純さにもかかわらず、Decision Transformerは、Atari、OpenAI Gym、Key-to-Doorタスク上での最先端のオフラインRLベースラインのパフォーマンスと一致または超過する。
  論文  参考訳（メタデータ） (2021-06-02T17:53:39Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)
• Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
  非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。 AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T16:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。