論文の概要: ContextFlow++: Generalist-Specialist Flow-based Generative Models with Mixed-Variable Context Encoding

• arxiv url: http://arxiv.org/abs/2406.00578v1
• Date: Sun, 2 Jun 2024 00:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 06:15:52.105227
• Title: ContextFlow++: Generalist-Specialist Flow-based Generative Models with Mixed-Variable Context Encoding
• Title（参考訳）: ContextFlow++: 混合変数コンテキストエンコーディングによる汎用的なフローベース生成モデル
• Authors: Denis Gudovskiy, Tomoyuki Okuno, Yohei Nakata,
• Abstract要約: 本稿では,明示的なジェネラリストと特殊主義の知識を分離した付加的条件付けを用いて,制約を克服するContextFlow++を提案する。 MNIST-R, 破損したCIFAR-10C, 現実世界のATMの予測保守, およびSMAPの教師なし異常検出ベンチマーク実験により, 提案したContextFlow++はより高速な安定トレーニングを提供し, 高性能なメトリクスを実現することを示す。
• 参考スコア（独自算出の注目度）: 0.8192907805418583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalizing flow-based generative models have been widely used in applications where the exact density estimation is of major importance. Recent research proposes numerous methods to improve their expressivity. However, conditioning on a context is largely overlooked area in the bijective flow research. Conventional conditioning with the vector concatenation is limited to only a few flow types. More importantly, this approach cannot support a practical setup where a set of context-conditioned (specialist) models are trained with the fixed pretrained general-knowledge (generalist) model. We propose ContextFlow++ approach to overcome these limitations using an additive conditioning with explicit generalist-specialist knowledge decoupling. Furthermore, we support discrete contexts by the proposed mixed-variable architecture with context encoders. Particularly, our context encoder for discrete variables is a surjective flow from which the context-conditioned continuous variables are sampled. Our experiments on rotated MNIST-R, corrupted CIFAR-10C, real-world ATM predictive maintenance and SMAP unsupervised anomaly detection benchmarks show that the proposed ContextFlow++ offers faster stable training and achieves higher performance metrics. Our code is publicly available at https://github.com/gudovskiy/contextflow.
• Abstract（参考訳）: フローベース生成モデルの正規化は、正確な密度推定が重要となるアプリケーションで広く利用されている。 近年の研究では, 表現性向上のための多くの手法が提案されている。 しかし、文脈での条件付けは、主観的流れの研究においてほとんど見過ごされてしまう。 ベクトル連結による従来の条件付けは、数種類のフロータイプに制限される。 より重要なことに、このアプローチは、コンテキスト条件付き(特殊主義者)モデルのセットが、固定された事前訓練された一般知識(ジェネラリスト)モデルで訓練されるような実践的なセットアップをサポートしない。 本稿では,これらの制約を克服するためのContextFlow++アプローチを提案する。 さらに、コンテクストエンコーダを用いた混合変数アーキテクチャにより、個別のコンテキストをサポートする。 特に、離散変数の文脈エンコーダは、文脈条件付き連続変数がサンプリングされるサージェクティブフローである。 MNIST-R, 破損したCIFAR-10C, 現実世界のATMの予測保守, およびSMAPの教師なし異常検出ベンチマーク実験により, 提案したContextFlow++はより高速な安定トレーニングを提供し, 高性能なメトリクスを実現することを示す。 私たちのコードはhttps://github.com/gudovskiy/contextflow.comで公開されています。

関連論文リスト

• A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning [49.62044186504516]
  文書レベルのニューラルネットワーク翻訳(DocNMT)では、コンテクストやソース文のエンコーディングにおいてマルチエンコーダアプローチが一般的である。 近年の研究では、コンテキストエンコーダがノイズを発生させ、コンテキストの選択に頑健なモデルを実現することが示されている。 本稿では、マルチタスク学習(MTL)を通してコンテキストエンコーディングを明示的にモデル化することで、コンテキスト選択に敏感なモデルを実現することにより、この観察をさらに検討する。
  論文  参考訳（メタデータ） (2024-07-03T12:50:49Z)
• Online Joint Fine-tuning of Multi-Agent Flows [12.851745991007169]
  本稿では,ラーニング・トゥ・サーチフレームワークに触発された全フローのオンライン共同微調整手順について述べる。 このアプローチはシミュレータアクセスを活用して、エピソード全体の好みを減らし、個々のノード出力よりも好みを減らします。 私は、最先端の結果を達成するためのマルチホップQAデータセットMuseicに適用します。
  論文  参考訳（メタデータ） (2024-06-06T21:21:03Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Coherent Entity Disambiguation via Modeling Topic and Categorical Dependency [87.16283281290053]
  従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。 本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。 我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-11-06T16:40:13Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Context-aware Fine-tuning of Self-supervised Speech Models [56.95389222319555]
  微調整におけるコンテキスト,すなわち周辺セグメントの使用について検討する。 我々はコンテキスト認識ファインチューニングと呼ばれる新しいアプローチを提案する。 いくつかの下流タスクに対して,SLUE と Libri-light ベンチマークを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2022-12-16T15:46:15Z)
• VQ-Flows: Vector Quantized Local Normalizing Flows [2.7998963147546148]
  データ多様体上の「チャートマップ」として局所正規化フローの混合を学習するための新しい統計フレームワークを導入する。 本フレームワークは, 正規化フローのシグネチャ特性を保ちながら, 最近の手法の表現性を向上し, 正確な密度評価を行う。
  論文  参考訳（メタデータ） (2022-03-22T09:22:18Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)
• Measuring and Increasing Context Usage in Context-Aware Machine Translation [64.5726087590283]
  機械翻訳モデルによるコンテキストの使用を定量的にするために、新しいメトリクス、条件付き相互情報を導入します。 次に,コンテキスト認識モデルによってコンテキストの使用量を増やすために,コンテキスト認識ワードドロップアウトという,新しい簡易なトレーニング手法を導入する。
  論文  参考訳（メタデータ） (2021-05-07T19:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。