論文の概要: Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
- arxiv url: http://arxiv.org/abs/2610.39301v1
- Date: Thu, 29 Oct 2026 03:49:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 00:15:48.533996
- Title: Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
- Title（参考訳）: Youtu-Parsing-Omni: エンコーダ1つ、スキーマ1つ、モダリティすべて
- Abstract要約: Youtu-Parsing-Omniは、文書、画像、オーディオ、動画を、空間と時間でグラウンド化された構造化されたレコードに変換するオムニモーダルエンコーダである。
10の構文解析タスクのアウトプットを統一し、単一の自己進化的なポストトレーニング手順を可能にする。
Youtu-Parsing-OmniはOmniDocBench v1.6 (96.96全体)の最先端のパフォーマンスを達成し、OmniParsingBenchのすべてのオープンウェイトモデルをリードしている。
- 参考スコア（独自算出の注目度）: 61.28982705019923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Youtu-Parsing-Omni, an omni-modal parser that converts documents, images, audio, and video into structured records grounded in space and time, providing a perception layer for agents that read, locate, and cite evidence across modalities. Its design rests on one encoder for every modality and one schema for every task. Youtu-Omni-Encoder, initialized from a pre-trained language model to strengthen text reading, encodes all modalities with shared weights in a unified space-time coordinate system, and a few fusion layers let video frames attend to concurrent audio, bringing cross-modal fusion and temporal alignment into perception itself. OmniSchema unifies the outputs of all ten parsing tasks, allowing a single self-evolving post-training procedure, OmniSchema-Aware On-Policy Distillation (OSAD), to provide a shared token-role-based objective across tasks. In each round, the model is trained on its own rollouts against token-level targets from a reference-conditioned copy of itself, which is then refreshed with the trained weights, so that the parser and its supervision co-evolve. With a single 5 B-parameter checkpoint, Youtu-Parsing-Omni achieves state-of-the-art performance on OmniDocBench v1.6 (96.96 Overall) and leads all open-weight models on OmniParsingBench (75.08 Avg.), with its advantage concentrated on audio and video. It also achieves the best overall chart-parsing score (95.02) and the highest exact chemical-fingerprint agreement among compared systems, and matches a dedicated optical-music model in character-level transcription of typeset sheet music while staying far ahead of general-purpose systems. Code and model weights are publicly available.
- Abstract（参考訳）: 本稿では,文書,画像,音声,映像を空間的・時間的に基底とした構造化されたレコードに変換し,モダリティにまたがる証拠を読み,見つけ,引用するエージェントの知覚層を提供する,全文モーダルパーサーであるYoutu-Parsing-Omniを紹介する。
その設計は、すべてのモダリティのための1つのエンコーダと、すべてのタスクのための1つのスキーマに委ねられている。
ユートゥ・オムニ・エンコーダ(Youtu-Omni-Encoder)は、事前訓練された言語モデルから初期化され、テキスト読解を強化し、統一された時空座標系において共有重み付き全モダリティを符号化する。
OmniSchemaは10の構文解析タスクのアウトプットを統一し、単一の自己進化的なポストトレーニング手順であるOmniSchema-Aware On-Policy Distillation (OSAD)を可能にし、タスク間でトークンベースの共通目的を提供する。
各ラウンドで、モデルは、基準条件付きコピーからトークンレベルのターゲットに対する独自のロールアウトでトレーニングされ、トレーニングされた重量でリフレッシュされ、パーサーとその監督が共進化する。
OmniDocBench v1.6 (96.96 総合)で最先端のパフォーマンスを達成し、OmniParsingBench (75.08 Avg.)で全てのオープンウェイトモデルをリードする。
また、チャートパーシングスコア(95.02)と、比較したシステムの中で最も正確な化学フィンガープリント契約を達成し、汎用システムよりもはるかに先行しながら、タイプトシート音楽の文字レベル転写における専用の光学音楽モデルと一致している。
コードとモデルのウェイトは公開されています。
関連論文リスト
- Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models [18.902147033940434]
Omni-Pruneは、トレーニング不要で、クエリ対応のオーディオ-ビジュアルトークンプルーニングフレームワークである。
タスク関連のクロスモーダルな証拠を保持しながら、両方のモダリティから冗長性を取り除く。
最大3.25倍のプリフィルスピードアップと1.3倍のメモリ削減を実現し、フルモデル性能の99%を維持できる。
論文 参考訳（メタデータ） (2026-07-26T03:51:39Z) - OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳（メタデータ） (2026-06-12T17:59:55Z) - Sandboxed Coding Agents are Competitive Omni-modal Task Solvers [22.269016330825128]
テキスト・イメージ・アクセスとサンドボックス・ツール・ユース・インタフェースしか持たないコーディング・エージェントがSOTAネイティブ・オムニモーダル・モデルと一致することを示す。
私たちの軌道分析は、その強みがコードを書き、関連する証拠を抽出するためのツールを編成することに由来することを示唆しています。
我々は,OmniCodingトラジェクトリデータセットと検証可能な報酬を含むトレーニングレシピであるCode-Xを紹介し,Qwen-3.5-9BとQwen-3.6-27Bのベースラインを提供する。
論文 参考訳（メタデータ） (2026-05-30T07:04:27Z) - OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder [17.494692126897434]
我々は、共有潜在空間内の25fpsの対称で視覚信号と音声信号を共入力するための統合トランスフォーマーバックボーンであるtextbf Omni-Encoder を提案する。
実験により、モダリティ固有のベースラインであるQwen2.5-Omniと比較して、Omni-Encoderは視覚的連続理解タスクに大きな利益をもたらすことが示された。
これらの結果から,統一全能符号化は全能モデル構築に有望な方向性をもたらすことが示唆された。
論文 参考訳（メタデータ） (2026-05-02T15:55:03Z) - OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs [31.589945976149973]
我々は、Attributionを世代追跡問題として形式化する軽量でモデルに依存しないフレームワークであるOmniTraceを紹介した。
本研究では, 世代別スパンレベルの属性が, 自己帰属よりも安定かつ解釈可能な説明をもたらすことを示す。
この結果から,属性を構造化された生成時トレース問題として扱うことは,オムニモーダル言語モデルにおける透明性のスケーラブルな基盤となることが示唆された。
論文 参考訳（メタデータ） (2026-03-20T17:25:00Z) - Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis [13.702423348269155]
Video-Text to Speech (VTTS) は、会話者のテキストとビデオの両方に条件付けされた音声生成タスクである。
視覚,テキスト,音声の入力を共有部分空間に埋め込む,マルチモーダルデコーダのみの統合トランスフォーマモデルであるVisatronicを導入する。
LRS3でのみ訓練されたSOTA法よりも優れた4.5%のWERが得られることを示す。
論文 参考訳（メタデータ） (2024-11-26T18:57:29Z) - Spatio-Temporal Side Tuning Pre-trained Foundation Models for Video-based Pedestrian Attribute Recognition [58.79807861739438]
既存の歩行者認識アルゴリズム(PAR)は主に静的画像に基づいて開発されている。
本稿では,時間的情報を完全に活用できるビデオフレームを用いて,人間の属性を理解することを提案する。
論文 参考訳（メタデータ） (2024-04-27T14:43:32Z) - TokenSplit: Using Discrete Speech Representations for Direct, Refined,
and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。
また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。
また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
論文 参考訳（メタデータ） (2023-08-21T01:52:01Z) - Fast End-to-End Speech Recognition via a Non-Autoregressive Model and
Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。
モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文 参考訳（メタデータ） (2021-02-15T15:18:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。