論文の概要: HOFAR: High-Order Augmentation of Flow Autoregressive Transformers

• arxiv url: http://arxiv.org/abs/2503.08032v1
• Date: Tue, 11 Mar 2025 04:29:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:46:20.727363
• Title: HOFAR: High-Order Augmentation of Flow Autoregressive Transformers
• Title（参考訳）: HOFAR:フロー自己回帰変換器の高次拡張
• Authors: Yingyu Liang, Zhizhou Sha, Zhenmei Shi, Zhao Song, Mingda Wan,
• Abstract要約: 本稿では,高次監視によるフロー自己回帰変換器を体系的に強化する新しいフレームワークを提案する。 本稿では,HFAR(High-Order FlowAR)がベースラインモデルと比較して,生成品質の計測可能な改善を示すことを示す理論的解析と実証評価を行う。
• 参考スコア（独自算出の注目度）: 17.002793355495136
• License:
• Abstract: Flow Matching and Transformer architectures have demonstrated remarkable performance in image generation tasks, with recent work FlowAR [Ren et al., 2024] synergistically integrating both paradigms to advance synthesis fidelity. However, current FlowAR implementations remain constrained by first-order trajectory modeling during the generation process. This paper introduces a novel framework that systematically enhances flow autoregressive transformers through high-order supervision. We provide theoretical analysis and empirical evaluation showing that our High-Order FlowAR (HOFAR) demonstrates measurable improvements in generation quality compared to baseline models. The proposed approach advances the understanding of flow-based autoregressive modeling by introducing a systematic framework for analyzing trajectory dynamics through high-order expansion.
• Abstract（参考訳）: 近年のFlowAR [Ren et al , 2024] は、両方のパラダイムを相乗的に統合し、合成の忠実性を向上させる。 しかし、現在のFlowARの実装は、生成プロセス中に一階の軌道モデリングによって制約を受け続けている。 本稿では,高次監視によるフロー自己回帰変換器を体系的に強化する新しいフレームワークを提案する。 本稿では,HFAR(High-Order FlowAR)がベースラインモデルと比較して,生成品質の計測可能な改善を示すことを示す理論的解析と実証評価を行う。 提案手法は,高次展開による軌道力学を解析するための体系的枠組みを導入することにより,フローベース自己回帰モデリングの理解を深める。

関連論文リスト

• Jet: A Modern Transformer-Based Normalizing Flow [62.2573739835562]
  本稿では,結合型正規化フローモデルの設計を再考する。 よりシンプルなアーキテクチャで、最先端の定量的、質的なパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-12-19T18:09:42Z)
• STAR: Synthesis of Tailored Architectures [61.080157488857516]
  本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。 提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。 STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
  論文  参考訳（メタデータ） (2024-11-26T18:42:42Z)
• JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation [36.93638123812204]
  画像の理解と生成を単一のモデルで統一する強力なフレームワークであるJanusFlowを紹介します。 JanusFlowは自動回帰言語モデルと修正フローを統合する。
  論文  参考訳（メタデータ） (2024-11-12T17:55:10Z)
• ReMatching Dynamic Reconstruction Flow [55.272357926111454]
  この研究は、動的再構成モデルに変形前処理を組み込むことにより、再構成品質を改善するために設計されたReMatchingフレームワークを導入している。 提案手法では,既存の動的再構成パイプラインをシームレスに補うためのマッチング手順を提案する。 合成・実世界の動的シーンを含む一般的なベンチマーク評価では, 現状の手法を改良することで, 再現精度が向上することが示されている。
  論文  参考訳（メタデータ） (2024-11-01T16:09:33Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
  本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。 我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。 本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T17:07:36Z)
• Improving Sequential Latent Variable Models with Autoregressive Flows [30.053464816814348]
  本稿では,自己回帰正規化フローに基づくシーケンスモデリングの改良手法を提案する。 結果は3つのベンチマークビデオデータセットで示され、自動回帰フローベースのダイナミックスがログライクなパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2020-10-07T05:14:37Z)
• Self-Reflective Variational Autoencoder [21.054722609128525]
  変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。 自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。 実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-10T05:05:26Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。