論文の概要: Self-Conditioning Enables Deep Sequential Reasoning in Flow Matching
- arxiv url: http://arxiv.org/abs/2610.19628v1
- Date: Wed, 14 Oct 2026 05:56:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.986919
- Title: Self-Conditioning Enables Deep Sequential Reasoning in Flow Matching
- Title(参考訳): フローマッチングにおける深部連続推論を可能にするセルフコンディショニング
- Abstract要約: 本研究では,フローマッチングなどの反復型サンプリングが視覚的推論問題によく適していることを示す。
我々は、前ステップの最終的な画像の推定値のモデルを条件付けするセルフコンディショニングが、このボトルネックを取り除く上で、これまで認識されていなかった役割を担っていることを明らかにした。
本研究は、将来の視覚的推論研究のための設計原則として、サンプリングステップ間でより多くの情報を運ぶことを提案する。
- 参考スコア(独自算出の注目度): 20.554147330335805
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent work has explored visual reasoning through image generation, where models solve visual-reasoning problems by directly generating solution images. Intuitively, iterative samplers such as flow matching are well suited to this task, since each sampling step may resemble one reasoning step. However, in this work, from a circuit complexity perspective, we show that this intuition is misleading. We prove that as long as the model outputs satisfy certain mild regularity conditions, the trajectory of the vanilla flow-matching sampler can be simulated by a constant number of sequential rounds of parallel model evaluations. Consequently, additional sampling steps cannot increase the expressive power of a constant-depth backbone model under the standard complexity-theoretic model of transformers. We then reveal that self-conditioning, which conditions the model on the previous step's estimate of the final image, plays a previously unrecognized role in removing this bottleneck. Controlled experiments on diverse visual-reasoning tasks show that flow matching with self-conditioning achieves higher accuracy and greater reasoning depth than vanilla flow matching, and its performance improves with more sampling steps. Theoretically, we prove that with self-conditioning, a constant-depth backbone can achieve expressive power equivalent to that of space-bounded Turing machines. Our study suggests a design principle for future visual reasoning research: carry more information between sampling steps, so that additional steps translate into deeper reasoning.
- Abstract(参考訳): 近年の研究では、モデルが解像を直接生成することで視覚推論の問題を解決する画像生成による視覚推論について検討している。
直感的には、フローマッチングのような反復的なサンプリングは、各サンプリングステップが1つの推論ステップに似ているため、このタスクに適している。
しかし、回路複雑性の観点からは、この直観が誤解を招くことが示されている。
モデル出力が一定の穏やかな規則性条件を満たす限り、バニラフローマッチングサンプルの軌道は並列モデル評価の逐次ラウンド数でシミュレート可能であることを証明した。
その結果、変圧器の標準的な複雑性理論モデルの下では、追加のサンプリングステップは、一定の深さのバックボーンモデルの表現力を増加させることができない。
次に、前ステップの最終的な画像の推定値のモデルを条件付けするセルフコンディショニングが、このボトルネックを取り除く上で、これまで認識されていなかった役割を担っていることを明らかにした。
多様なビジュアル推論タスクに関する制御された実験により、自己条件付きフローマッチングはバニラフローマッチングよりも精度が高く、推論深度が高いことが示され、その性能はより多くのサンプリングステップで改善される。
理論的には、自己条件で、一定の深さのバックボーンは、空間有界チューリングマシンと同等の表現力が得られることを証明している。
我々の研究は、将来の視覚的推論研究のための設計原則を示唆している。サンプリングステップ間でより多くの情報を運ぶことで、追加ステップがより深い推論に変換される。
関連論文リスト
- Normalizing Trajectory Models [36.48526680200944]
正規化軌道モデル(NTM)を導入する
NTMは、それぞれの逆ステップを、正確な確度トレーニングを伴う表現的条件正規化フローとしてモデル化する。
テキスト・ツー・イメージのベンチマークでは、NTMは4つのサンプリングステップで強力な画像生成ベースラインにマッチする。
論文 参考訳(メタデータ) (2026-05-08T17:57:14Z) - Neural Flow Samplers with Shortcut Models [19.81513273510523]
連続フローベースのニューラルサンプリングは、非正規化された密度からサンプルを生成するための有望なアプローチを提供する。
速度駆動型Sequential Monte Carlo法を用いて,これらの課題量に対する改良された推定器を提案する。
提案するニューラルフローショートカットサンプリングは,合成データセットと複雑なnボディシステムターゲットの両方において,既存のフローベースニューラルサンプリングよりも経験的に優れている。
論文 参考訳(メタデータ) (2025-02-11T07:55:41Z) - Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think [53.2706196341054]
認識された非効率性は、これまで気付かれなかった推論パイプラインの欠陥によって引き起こされたことを示している。
タスク固有の損失を伴う単一ステップモデル上でエンドツーエンドの微調整を行い、他の拡散に基づく深さモデルや正規推定モデルよりも優れた決定論的モデルを得る。
論文 参考訳(メタデータ) (2024-09-17T16:58:52Z) - Predictive Modeling in the Reservoir Kernel Motif Space [0.9217021281095907]
本研究では,線形貯水池のカーネルビューに基づく時系列予測手法を提案する。
我々は、我々のアプローチがコア貯水池モデルとどのように関係しているかについての光を遮蔽するアプローチの幾何学的解釈を提供する。
実験では,提案モデルの予測性能と最近の最先端変圧器モデルとの比較を行った。
論文 参考訳(メタデータ) (2024-05-11T16:12:25Z) - U-Turn Diffusion [0.4527270266697462]
我々は,GTサンプル情報をスコア関数(SF)にエンコードする方法に注目した。
本稿では,事前学習した拡散モデルの拡張であるU-Turn拡散を提案する。
ImageNetデータセットのクラス条件SFの実験では、臨界記憶時間$T_mが明らかにされている。
論文 参考訳(メタデータ) (2023-08-14T19:21:28Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳(メタデータ) (2023-03-06T18:59:19Z) - Parallel and Flexible Sampling from Autoregressive Models via Langevin
Dynamics [13.097161185372151]
ホワイトノイズでシーケンスを初期化し,Langevin dynamicsによって定義されたマルコフ連鎖に従ってシーケンスのグローバルなログライクな状態を示すサンプリング手順を提案する。
これらの手法を視覚および聴覚領域の自己回帰モデルに適用し,オーディオソース分離,超解像,インペインティングの競争結果と比較した。
論文 参考訳(メタデータ) (2021-05-17T21:07:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。