論文の概要: Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes
- arxiv url: http://arxiv.org/abs/2607.13188v1
- Date: Tue, 14 Jul 2026 18:39:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.566466
- Title: Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes
- Title（参考訳）: 同時画像理解と生成:自己補正型マルコフジャンププロセス
- Abstract要約: 我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。
SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。
トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
- 参考スコア（独自算出の注目度）: 70.61868608402723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human cognition does not separate understanding and generation. A teacher at a whiteboard speaks and draws $\textit{together}$, each modality reshapes the other. In this paper, we bring this coupled loop to artificial systems. Masked Diffusion Models (MDMs) are ideally suited to this task, yet existing samplers either decode text and image interleavedly or independently update them in parallel branches that share only previous-step history, but not the other modality's latest decisions $\textit{within}$ the same step; combined with MDMs' inability to remask, cross-modal contradictions are neither detected nor repaired. We introduce $\textbf{Self-Correcting Coupled Markov Jump Processes (SC-CMJP)}$, a framework in which one modality's transition rates are functionals of the other modality's confidence score, as weighted by cross-modal attention. Furthermore, a remasking jump retracts commitments the moment cross-modal evidence turns against them. In conjunction with SC-CMJP, we introduce $\texttt{CO}_\texttt{2}\texttt{Jump}$ (Self-$\underline{\text{CO}}$rrecting $\underline{\text{CO}}$upled $\underline{\text{Jump}}$), a novel training-free single-pass sampler for joint multimodal geneneration. For training and evaluation purposes, we have created and will release three large-scale joint multimodal generation corpora: $\text{JEdit-1M}$, $\text{JMaze-200K}$, $\text{JNono-200K}$, with matching in- and out-of-distribution benchmarks. $\texttt{CO}_\texttt{2}\texttt{Jump}$ achieves best joint performance for image understanding and editing as well as visual reasoning (maze and nonogram solving). The performance of the sampler scales monotonically with the number of denoising steps, evidence that the benefits of cross-modal coupling $\textit{compound}$ across the trajectory. Project page: https://coupled-jump.github.io
- Abstract（参考訳）: 人間の認知は理解と生成を区別しない。
ホワイトボードの教師が話し、$\textit{together}$を描きます。
本稿では,この結合ループを人工システムに適用する。
Masked Diffusion Models (MDMs) は、このタスクに理想的には適しているが、既存のサンプルは、テキストとイメージをインターリーブまたは独立にデコードし、以前のステップ履歴のみを共有する並列ブランチで更新するが、他のモダリティの最新の決定は$\textit{within}$同じステップではない。
我々は,あるモダリティの遷移速度が他のモダリティの信頼性スコアの関数であるようなフレームワークである$\textbf{Self-Correcting Coupled Markov Jump Processes (SC-CMJP)}$を紹介する。
さらに、リマキングジャンプは、モディカルな証拠が彼らに反する瞬間を約束する。
SC-CMJPと組み合わせて、新しいマルチモーダルジェネレーション用トレーニングフリーシングルパスサンプリングである$\texttt{CO}_\texttt{2}\texttt{Jump}$ (Self-$\underline{\text{CO}}$rrecting $\underline{\text{CO}}$upled $\underline{\text{Jump}}$を紹介した。
トレーニングと評価のために、我々は3つの大規模共同マルチモーダル生成コーパスを作成し、リリースする。 $\text{JEdit-1M}$, $\text{JMaze-200K}$, $\text{Jno-200K}$。
$\texttt{CO}_\texttt{2}\texttt{Jump}$は、画像の理解と編集、そして視覚的推論(迷路やノングラムの解決)のための最高のジョイントパフォーマンスを達成する。
サンプリング器の性能はデノイングステップの数とともに単調にスケールし、その軌道を横断するクロスモーダルカップリング$\textit{compound}$の利点が証明される。
プロジェクトページ: https://coupled-jump.github.io
関連論文リスト
- HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees [10.936836651826722]
HARTS (Hybrid-Attention RL over Tree Structures) について述べる。
HarTSは、実際のハイブリッドアテンションモデル上で任意のロールアウトツリープレフィックス共有スピードアップを示す最初のシステムである。
論文 参考訳（メタデータ） (2026-08-28T10:18:54Z) - JAGG: Jacobian-Aggregated Group Gradient for Efficient GRPO Training of Diffusion Models [21.274538255180314]
textbfJAGGはフルトランスフォーマーの後方通過を$W$から$W$連続ステップ毎に$2$に削減する。
T2Iベンチマークの実験は、JAGGが無視できる品質劣化を伴う$sim$times$backward speedupを提供することを示している。
論文 参考訳（メタデータ） (2026-07-20T05:30:40Z) - Temporal Memory for Resource-Constrained Agents: Continual Learning via Stochastic Compress-Add-Smooth [0.0]
シーケンシャルに動作するエージェントは、固定メモリ予算の下で、古い経験を忘れずに新しい経験を取り入れなければならない。
本稿では,メモリをパラメータベクトルではなくプロセスとするフレームワークを提案する。
このフレームワークは連続学習の完全な分析的イジングモデル’を提供し、数学的精度でそのメカニズム、速度、形態を研究できる。
論文 参考訳（メタデータ） (2026-03-31T12:04:11Z) - Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。
Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
論文 参考訳（メタデータ） (2026-02-27T07:36:32Z) - Canonicalizing Multimodal Contrastive Representation Learning [76.15228959754727]
ここでは,CLIP,SigLIP,FLAVAなどのモデルファミリにおいて,埋め込み空間間の幾何学的関係が存在することを示す。
この発見は、後方互換性のあるモデルアップグレードを可能にし、コストのかかる再埋め込みを回避し、学習された表現のプライバシに影響を及ぼす。
論文 参考訳（メタデータ） (2026-02-19T18:09:36Z) - Uncovering Untapped Potential in Sample-Efficient World Model Agents [51.65485693709418]
Simulusは高度にモジュール化されたTBWMエージェントで、マルチモーダルトークン化フレームワーク、本質的なモチベーション、優先順位付けされたWMリプレイ、レグレッション・アズ・クラス化を統合している。
Simulusは3つの異なるベンチマークで、計画自由なWMに対して最先端のサンプル効率を達成する。
論文 参考訳（メタデータ） (2025-02-17T08:06:10Z) - Reasoning to Attend: Try to Understand How <SEG> Token Works [44.33848900059659]
我々は、$texttSEG>$トークンが、画像とテキストのペア内のセマンティックな類似性に寄与していることを示す。
本稿では,高活性点の誘導の下で,LMMの高強度な$textbfREA$soning機能を実現するREADを提案する。
論文 参考訳（メタデータ） (2024-12-23T17:44:05Z) - Truncated Consistency Models [57.50243901368328]
トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。
このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。
整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
論文 参考訳（メタデータ） (2024-10-18T22:38:08Z) - Federated Combinatorial Multi-Agent Multi-Armed Bandits [79.1700188160944]
本稿では,Banditを用いたオンライン最適化に適したフェデレーション学習フレームワークを提案する。
この設定では、エージェントのアームサブセットは、個々のアーム情報にアクセスせずにこれらのサブセットに対するノイズの多い報酬を観察し、特定の間隔で協力して情報を共有することができる。
論文 参考訳（メタデータ） (2024-05-09T17:40:09Z) - M$^{2}$Chat: Empowering VLM for Multimodal LLM Interleaved Text-Image Generation [24.070247575655998]
textbf$M2Chat$は、インターリーブされたテキストイメージの会話を生成するための新しい統合マルチモーダルLLMフレームワークである。
M3Adapter$は、マルチモーダルプロンプトから、粒度の低い視覚情報と高レベルのセマンティック機能を統合する。
M3FT$ fine-tuning strategy イメージテキストアライメントとビジュアルインストラクションのために、パラメータの分離したグループを最適化する。
論文 参考訳（メタデータ） (2023-11-29T11:30:33Z) - Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models [69.31424345583537]
人間はクロスモーダル情報を使って、新しい概念を効率的に学習する。
犬について読んだり、バークを聴いたりすることで、より優れた$bfビジュアルの犬分類器を構築できることを示す。
我々は、最初の(知識のために)オーディオヴィジュアルな数ショットのベンチマークを構築し、画像分類と音声分類の両方の性能を向上させるために、クロスモーダルトレーニングを使用する。
論文 参考訳（メタデータ） (2023-01-16T05:40:42Z) - Simplifying and Understanding State Space Models with Diagonal Linear
RNNs [56.33053691749856]
本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。
概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。
また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
論文 参考訳（メタデータ） (2022-12-01T18:53:06Z) - Cluster and Aggregate: Face Recognition with Large Probe Set [18.662943303044315]
本稿では,2段階の機能融合パラダイムであるClusterとAggregateを提案する。
IJB-BおよびIJB-Sベンチマークデータセットの実験は、制約のない顔認識における提案された2段階パラダイムの優位性を示している。
論文 参考訳（メタデータ） (2022-10-19T20:01:15Z) - Decentralized Cooperative Reinforcement Learning with Hierarchical
Information Structure [14.919120396838208]
本稿では,2エージェントマルチアームバンド (MABs) とマルコフ決定プロセス (MDPs) を,アプリケーションに生じる階層的情報構造を用いて検討する。
それぞれのステップにおいて、"リーダー"はまず彼女の行動を選択し、その後に"フォロワー"はリーダーの行動を観察して自分の行動を決定する。
MDP設定の場合、$widetildemathcalO(sqrtH7S2ABT)$ regret, where $H$ is the number of episode, $S$ is the number of states。
論文 参考訳（メタデータ） (2021-11-01T09:18:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。