Fugu-MT 論文翻訳(概要): Gestalt: Large Multimodal Interplay Model

論文の概要: Gestalt: Large Multimodal Interplay Model

arxiv url: http://arxiv.org/abs/2610.00576v1
Date: Wed, 30 Sep 2026 18:45:38 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:23.717894
Title: Gestalt: Large Multimodal Interplay Model
Title（参考訳）: Gestalt: 大規模マルチモーダル・インタープレイモデル
Abstract要約: 本稿では,マルチモーダル・インタープレイを中心に構築された大規模マルチモーダルモデルの新たなパラダイムを提案する。ヒトのマルチ感覚知覚の多段階的特性に触発され,マルチモーダル・モデリングを組織するマルチモーダル・インタープレイ・ピラミッドを提案する。
参考スコア（独自算出の注目度）: 71.29665945750388
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose Gestalt, a new paradigm of large multimodal model built around multimodal interplay. Despite rapid advances, large multimodal models are reaching a bottleneck: existing approaches focus primarily on accommodating additional modalities while overlooking the distinct characteristics of each modality and the relations among them. Motivated by the multistage property of human multisensory perception, we propose a multimodal interplay pyramid that organizes multimodal modeling as a progression from modality-specific processing, through cross-modal alignment, to deeper multimodal integration. Guided by this pyramid, Gestalt adopts a unified discrete diffusion framework and an interplay-partitioned architecture, with learnable interplay tokens mediating cross-modal exchange and integration. The pyramid also structures its data organization and training strategy. Strong performance across image generation, multimodal understanding, and text-only evaluation shows that Gestalt significantly improves cross-modal integration while preserving modality-specific information, effectively harnessing the strengths of diffusion-based multimodal models and offering a promising path toward unified multimodal intelligence.
Abstract（参考訳）: 本稿では,マルチモーダル・インタープレイを中心に構築された大規模マルチモーダルモデルの新たなパラダイムであるGestaltを提案する。既存のアプローチは、主に追加のモダリティの調整に焦点を当て、各モダリティの異なる特性とそれらの間の関係を見下ろしている。マルチモーダル・インタープレイ・ピラミッドは,多モーダル・アライメントからより深いマルチモーダル・アライメントまで,多モーダル・アライメントから多モーダル・アライメントへの進展として,多モーダル・モデリングを組織する。このピラミッドによってガイドされたゲシュタルトは、統合された離散拡散フレームワークと、相互に分割されたアーキテクチャを採用し、相互交換と統合を仲介する学習可能なインタープレイトークンを備えている。このピラミッドは、データ組織とトレーニング戦略も構成している。画像生成,マルチモーダル理解,テキストのみの評価において,ゲシュタルトはモダリティ固有の情報を保持しつつ,相互モーダル統合を著しく改善し,拡散に基づくマルチモーダルモデルの強みを効果的に活用し,統一マルチモーダルインテリジェンスへの有望な道を提供することを示す。

関連論文リスト

Towards Unified Multimodal Interleaved Generation via Group Relative Policy Optimization [35.14373974143734]
既存の統一モデルにおいて,この能力を解放するための強化学習に基づくポストトレーニング戦略を提案する。提案手法は,1つの復号軌道内でのテキスト生成と画像生成を共同でモデル化し,新たなハイブリッド報酬で最適化する。 MMIEとInterleavedBenchの実験により,マルチモーダルインターリーブド生成の品質とコヒーレンスを大幅に向上させることが実証された。
論文参考訳（メタデータ） (2026-03-10T11:49:20Z)
Graph4MM: Weaving Multimodal Learning with Structural Information [52.16646463590474]
グラフは、モーダル内およびモーダル間関係をモデル化するための強力な構造情報を提供する。それまでの作業では、マルチホップの隣人を区別できず、グラフをスタンドアローンのモダリティとして扱う。グラフベースのマルチモーダル学習フレームワークであるGraph4MMを提案する。
論文参考訳（メタデータ） (2025-10-19T20:13:03Z)
Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
論文参考訳（メタデータ） (2025-09-30T17:59:46Z)
UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
論文参考訳（メタデータ） (2025-09-28T09:11:30Z)
ShaLa: Multimodal Shared Latent Space Modelling [10.281285931976916]
本稿では,マルチモーダルデータ間の共有潜在表現を学習するための新しい生成フレームワークを提案する。 ShaLaは、新しいアーキテクチャ推論モデルと第2ステージの表現拡散を前もって統合する。複数のベンチマークでShaLaを広範囲に検証し、最先端のマルチモーダルVAEと比較してコヒーレンスと合成品質が優れていることを示した。
論文参考訳（メタデータ） (2025-08-24T14:16:22Z)
A Multimodal-Multitask Framework with Cross-modal Relation and Hierarchical Interactive Attention for Semantic Comprehension [6.829129246811412]
マルチモーダル学習における大きな課題は、個々のモーダル内のノイズの存在である。 crOss-modal RelationとhIErarchical iNteractive attention (MM-ORIENT)を用いたマルチモーダル・マルチタスクフレームワークを提案する。提案手法は、異なるモダリティ間の明示的な相互作用を伴わずに、マルチモーダル表現をクロスモーダルに取得する。
論文参考訳（メタデータ） (2025-08-22T11:10:14Z)
MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning [12.821814562210632]
本稿では,マルチモーダルアテンションに基づく正規化フロー(MANGO)アプローチを提案する。マルチモーダルデータのための正規化フローベースモデルを開発するために,新しい非可逆クロスアテンション層を提案する。また,MMCA(Modality-to-Modality Cross-Attention),IMCA(Inter-Modality Cross-Attention),ICA(Learable Inter-Modality Cross-Attention)の3つの新しいクロスアテンション機構を導入する。
論文参考訳（メタデータ） (2025-08-13T18:56:57Z)
Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文参考訳（メタデータ） (2023-11-06T13:56:57Z)
Unified Discrete Diffusion for Simultaneous Vision-Language Generation [78.21352271140472]
本稿では,「モダリティ変換」タスクと「マルチモダリティ生成」タスクの両方を実行することができる統一型マルチモーダル生成モデルを提案する。具体的には,マルチモーダル信号の離散拡散過程を統一遷移行列を用いて統一する。提案手法は, 様々な生成タスクにおいて, 最先端のソリューションと同等に動作可能である。
論文参考訳（メタデータ） (2022-11-27T14:46:01Z)
Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis [19.07020276666615]
本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
論文参考訳（メタデータ） (2022-10-26T08:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。