論文の概要: LongCat-Next: Lexicalizing Modalities as Discrete Tokens
- arxiv url: http://arxiv.org/abs/2603.27538v1
- Date: Sun, 29 Mar 2026 06:35:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.013788
- Title: LongCat-Next: Lexicalizing Modalities as Discrete Tokens
- Title（参考訳）: LongCat-Next:レキシライズモダリティを離散的なトークンに
- Abstract要約: LongCat-Nextは、テキスト、ビジョン、オーディオを単一の自己回帰的目的の下で処理する、ネイティブなマルチモーダルモデルである。
特にLongCat-Nextは、タスク理解における離散視覚モデリングの長年のパフォーマンス上限に対処している。
ネイティブなマルチモダリティに向けた試みとして、LongCat-Nextとそのトークンライザをオープンソースとして公開し、コミュニティにおけるさらなる研究と開発を促進したいと思っています。
- 参考スコア（独自算出の注目度）: 111.50794040093656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The prevailing Next-Token Prediction (NTP) paradigm has driven the success of large language models through discrete autoregressive modeling. However, contemporary multimodal systems remain language-centric, often treating non-linguistic modalities as external attachments, leading to fragmented architectures and suboptimal integration. To transcend this limitation, we introduce Discrete Native Autoregressive (DiNA), a unified framework that represents multimodal information within a shared discrete space, enabling a consistent and principled autoregressive modeling across modalities. A key innovation is the Discrete Native Any-resolution Visual Transformer (dNaViT), which performs tokenization and de-tokenization at arbitrary resolutions, transforming continuous visual signals into hierarchical discrete tokens. Building on this foundation, we develop LongCat-Next, a native multimodal model that processes text, vision, and audio under a single autoregressive objective with minimal modality-specific design. As an industrial-strength foundation model, it excels at seeing, painting, and talking within a single framework, achieving strong performance across a wide range of multimodal benchmarks. In particular, LongCat-Next addresses the long-standing performance ceiling of discrete vision modeling on understanding tasks and provides a unified approach to effectively reconcile the conflict between understanding and generation. As an attempt toward native multimodality, we open-source the LongCat-Next and its tokenizers, hoping to foster further research and development in the community. GitHub: https://github.com/meituan-longcat/LongCat-Next
- Abstract（参考訳）: NTP(Next-Token Prediction)パラダイムは、離散的な自己回帰モデリングを通じて大きな言語モデルの成功を導いた。
しかし、現代のマルチモーダルシステムは言語中心であり、非言語的なモダリティを外部のアタッチメントとして扱うことが多く、断片化されたアーキテクチャや準最適統合へと繋がる。
この制限を超越するために、共有離散空間内のマルチモーダル情報を表す統一されたフレームワークであるDisdisrete Native Autoregressive (DiNA)を導入し、モジュール間の一貫性と原則付き自己回帰モデリングを可能にする。
重要なイノベーションは、任意の解像度でトークン化と非トークン化を行い、連続した視覚信号を階層的な離散トークンに変換するDnaViT(Disdisrete Native Any- resolution Visual Transformer)である。
この基盤の上に構築されたLongCat-Nextは、テキスト、視覚、音声を、最小限のモダリティ固有の設計で単一の自己回帰的目的の下で処理するネイティブマルチモーダルモデルである。
産業力の基盤モデルとして、単一のフレームワーク内での観察、描画、講演に優れ、幅広いマルチモーダルベンチマークで強力なパフォーマンスを達成する。
特にLongCat-Nextは、タスク理解における離散視覚モデリングの長年のパフォーマンス上限に対処し、理解と生成の衝突を効果的に解決するための統一的なアプローチを提供する。
ネイティブなマルチモダリティに向けた試みとして、LongCat-Nextとそのトークンライザをオープンソースとして公開し、コミュニティにおけるさらなる研究と開発を促進したいと思っています。
GitHub: https://github.com/meituan-longcat/LongCat-Next
関連論文リスト
- Toward Native Multimodal Modeling: A Roadmap [73.2994129763275]
マルチモーダルモデリングは、モダリティに依存しない推論から世界モデリングへの重要なステップである。
近年の取り組みは、パラダイムをネイティブなマルチモーダルモデリングへとシフトさせてきた。
その可能性にもかかわらず、ネイティブアーキテクチャの設計空間は未だ十分に定義されていない。
論文 参考訳（メタデータ） (2026-05-25T01:57:43Z) - Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion [66.78268790956493]
オムニ・ディフュージョン(Omni-Diffusion)は、マスクベースの離散拡散モデルに基づいて構築された、最初の任意のマルチモーダル言語モデルである。
本手法は2つ以上のモダリティを処理する既存のマルチモーダルシステムに匹敵する性能または性能を示す。
論文 参考訳（メタデータ） (2026-03-06T18:59:57Z) - Kelix Technical Report [86.64551727600104]
我々は、完全離散自己回帰統一モデルであるKelixを紹介し、離散的および連続的な視覚表現間の理解ギャップを埋める。
最近の研究は、完全自己回帰型マルチモーダルモデリングを可能にするために、離散的な視覚的トークン化を探求している。
論文 参考訳（メタデータ） (2026-02-10T14:48:26Z) - NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。
NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。
さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
論文 参考訳（メタデータ） (2025-10-15T16:25:18Z) - OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation [91.45421429922506]
OneCATは、理解、生成、編集をシームレスに統合する統合マルチモーダルモデルである。
我々のフレームワークは、推論中に視覚変換器(ViT)や視覚トークン化器などの外部コンポーネントを不要にする。
論文 参考訳（メタデータ） (2025-09-03T17:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。