論文の概要: Text-Centric Post-Training for Omni-Modal Reasoning

• arxiv url: http://arxiv.org/abs/2610.02819v1
• Date: Fri, 02 Oct 2026 05:08:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 09:54:32.234552
• Title: Text-Centric Post-Training for Omni-Modal Reasoning
• Title（参考訳）: Omni-Modal Reasoning のためのテキスト中心ポストトレーニング
• Abstract要約: テキストのみの推論トレーニングは、データソース、モデルスケール、家族間で利益を得る。 テキスト中心のポストトレーニングパラダイムを提案する: テキストのみのトレーニングは、主な推論最適化を提供し、データによるネイティブな音声視覚RLは、認識を洗練させる。
• 参考スコア（独自算出の注目度）: 38.66864848317785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving joint audio-visual reasoning in Omni Large Language Models typically incurs substantial data construction and training costs. Our diagnostics reveal multi-hop reasoning difficulties despite correct answers to all corresponding single-hop questions and suggest partial decoupling in the local optimization of perception and reasoning objectives. This motivates post-training with different emphases on these capabilities. Text-only reasoning training yields gains across data sources, model scales, and families. With the best-performing text-only configuration, supervised fine-tuning followed by reinforcement learning (RL) raises Qwen2.5-Omni-7B's geometric mean of nine reasoning scores by 25.83% over the base model, outperforming the complete native audio-visual route with 56.6% fewer GPU-hours. Training on data synthesized entirely by a text-only LLM raises this geometric mean by 21.01% without audio-visual data in construction or training. However, text-only training degrades perception. We therefore propose a text-centric post-training paradigm: text-only training provides the main reasoning optimization, and reduced-data native audio-visual RL then refines perception. Refinement uses about 90% fewer input tokens than full-data audio-visual RL, restores perception above the base level, and retains 93.5% of the best-performing text-only pipeline's reasoning gain.
• Abstract（参考訳）: Omni Large Language Modelsにおける共同音声視覚推論の改善は、典型的には、データ構築とトレーニングのかなりのコストを発生させる。 診断では,全てのシングルホップ質問に対する正しい回答にもかかわらず,マルチホップ推論の難しさが明らかとなり,認識と推論目的の局所的最適化における部分的疎結合が示唆された。 このことは、これらの能力に対して異なるエミュフェーズでポストトレーニングを動機付ける。 テキストのみの推論トレーニングは、データソース、モデルスケール、家族間で利益を得る。 最高のテキストのみの構成で、教師付き微調整と強化学習(RL)により、Qwen2.5-Omni-7Bの幾何学的平均値の9つの推論スコアがベースモデルよりも25.83%向上し、完全なネイティブオーディオ視覚経路を56.6%削減した。 テキストのみのLLMで完全に合成されたデータのトレーニングでは、この幾何学的平均値が21.01%上昇する。 しかし、テキストのみの訓練は知覚を低下させる。 そこで本研究では,テキスト中心のポストトレーニングパラダイムを提案する。 リファインメントは、フルデータのオーディオ視覚RLよりも90%少ない入力トークンを使用し、ベースレベル以上の認識を復元し、最高のパフォーマンスのテキストのみのパイプラインの推論ゲインの93.5%を維持している。

関連論文リスト

• Voice of Reason: Reinforcement Learning for Spoken Math [45.552142181277524]
  音声言語モデルは、カスケードシステムよりも人間と機械間の豊かな音声対話を可能にする。 しかし、数学的推論ベンチマークにおけるそれらの精度は、テキストモデルに遅れを取っている。 検証可能な報酬を伴う強化学習が,テキストモデルの機能拡張に有効であることを示す。
  論文  参考訳（メタデータ） (2026-09-16T13:52:50Z)
• Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens [62.56027815951259]
  現在のオーディオ言語モデルは、主にテキストファーストであり、事前訓練されたテキストLLMバックボーンを拡張するか、意味のみのオーディオトークンに依存する。 本稿では,大規模音声に次トーケン予測を適用したネイティブオーディオ基礎モデルの系統的研究を行った。
  論文  参考訳（メタデータ） (2026-02-18T18:32:46Z)
• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• EchoInk-R1: Exploring Audio-Visual Reasoning in Multimodal LLMs via Reinforcement Learning [108.73513190593232]
  MLLM(Multimodal large language model)は、テキスト、視覚、音声にまたがる高度な認識を持つが、構造化されたクロスモーダル推論に苦慮する。 MLLMにおけるそのような推論を強化する強化学習フレームワークであるEchoInk-R1を紹介する。
  論文  参考訳（メタデータ） (2025-05-07T17:59:49Z)
• Improving Neutral Point-of-View Generation with Data- and Parameter-Efficient RL [16.029770877966182]
  パラメータ効率強化学習(PE-RL)は,ニュートラルポイント・オブ・ビュー(NPOV)を用いたセンシティブなトピックに対する問合せに答える大規模言語モデル(LLM)の能力を向上させるための,極めて効果的な学習方法であることを示す。 PE-RLおよびLoRAファインタニング(ストロングベースライン)、SFTおよびRLHFを含む複数の強いベースラインを評価することにより、これを実証する。 PE-RLは、最強のベースライン(97.06%rightarrow 99.08%$)に比べて全体的なNPOVの品質を向上するだけでなく、十分な回答を分離するための鍵と認識される機能よりもはるかに高いスコアを得る。
  論文  参考訳（メタデータ） (2025-03-05T16:32:47Z)
• Training Dynamics of a 1.7B LLaMa Model: A Data-Efficient Approach [10.39475177812483]
  約200億個のデータに対するDMaS-LLaMa-Liteのトレーニングから得られた洞察を共有します。 我々は、検証損失レベルとダウンストリームベンチマークの進化が、不整合テキストから、流動的で文脈に根ざしたアウトプットへの移行を反映しているかを記述した、完全なトレーニングの軌跡を詳述する。 これらの経験を詳述し、トレーニングログ、チェックポイント、サンプルアウトプットを提供することで、将来の研究者や実践者が事前学習戦略を洗練することを目指している。
  論文  参考訳（メタデータ） (2024-12-17T21:15:52Z)
• End-to-End Speech Recognition Contextualization with Large Language Models [25.198480789044346]
  本稿では,Large Language Models (LLM) を取り入れた音声認識モデルの文脈化手法を提案する。 音声機能とコンテクスト用のオプションテキストトークンを提供し、デコーダのみの方法でシステムに書き起こしを訓練する。 実験の結果,追加のテキストコンテキストが提供されると,WERが6%削減され,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-09-19T20:28:57Z)
• Improving Deliberation by Text-Only and Semi-Supervised Training [42.942428288428836]
  本稿では,テキストのみによる半教師付きトレーニングを,注意に基づく検討モデルに取り入れることを提案する。 基準検討と比較して, WER の 4%-12% 削減を実現している。 また, 検討モデルにより, 肯定的な評価がもたらされることが示唆された。
  論文  参考訳（メタデータ） (2022-06-29T15:30:44Z)
• A study on the efficacy of model pre-training in developing neural text-to-speech system [55.947807261757056]
  本研究の目的は,モデル事前学習がTSシステム性能に肯定的に寄与する理由と方法を明らかにすることである。 トレーニング前のデータを元のサイズの1/8に減らすと,TSシステムは同等の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-08T02:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。