論文の概要: HumanOmniV2: From Understanding to Omni-Modal Reasoning with Context

• arxiv url: http://arxiv.org/abs/2506.21277v1
• Date: Thu, 26 Jun 2025 14:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.112515
• Title: HumanOmniV2: From Understanding to Omni-Modal Reasoning with Context
• Title（参考訳）: HumanOmniV2: コンテキストによるOmni-Modal Reasoning理解からOmni-Modal Reasoningへ
• Authors: Qize Yang, Shimin Yao, Weixuan Chen, Shenghao Fu, Detao Bai, Jiaxing Zhao, Boyuan Sun, Bowen Yin, Xihan Wei, Jingren Zhou,
• Abstract要約: 不適切な文脈理解は、モデルがマルチモーダルな文脈を誤って解釈し、誤った答えをもたらすときに起こりうる。 ショートカット問題は、モデルがマルチモーダル入力において重要な手がかりを見落とし、マルチモーダル情報を考慮せずにクエリに直接対処する場合に発生する。 我々は、複雑な人間の意図や感情を理解するためのモデルを評価することを目的とした、Omni-modalベンチマークIntentBenchを紹介する。
• 参考スコア（独自算出の注目度）: 26.506057678587176
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the rapid evolution of multimodal large language models, the capacity to deeply understand and interpret human intentions has emerged as a critical capability, which demands detailed and thoughtful reasoning. In recent studies, Reinforcement Learning (RL) has demonstrated potential in enhancing the reasoning capabilities of Large Language Models (LLMs). Nonetheless, the challenges associated with adapting RL to multimodal data and formats remain largely unaddressed. In this paper, we identify two issues in existing multimodal reasoning models: insufficient global context understanding and shortcut problems. Insufficient context understanding can happen when a model misinterprets multimodal context, resulting in incorrect answers. The shortcut problem occurs when the model overlooks crucial clues in multimodal inputs, directly addressing the query without considering the multimodal information. To tackle these issues, we emphasize the necessity for the model to reason with a clear understanding of the global context within multimodal inputs. This global context understanding can effectively prevent the model from overlooking key multimodal cues and ensure a thorough reasoning process. To ensure the accurate interpretation of multimodal context information, we implement a context reward judged by a large language model, alongside format and accuracy rewards. Additionally, to improve complex reasoning capability, we employ the LLM to assess the logical reward, determining whether the reasoning process successfully integrates multimodal information with logical methods. We also introduce a reasoning omni-modal benchmark, IntentBench, aimed at evaluating models in understanding complex human intentions and emotions. Our proposed method demonstrates advanced performance across multiple omni-modal benchmarks compared to other open-source omni-modal models.
• Abstract（参考訳）: マルチモーダルな言語モデルの急速な進化により、人間の意図を深く理解し、解釈する能力が重要な能力として浮上し、詳細で思慮深い推論が求められている。 近年、強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める可能性を実証している。 それでも、RLをマルチモーダルデータやフォーマットに適用する際の課題は、ほとんど未解決のままである。 本稿では,既存のマルチモーダル推論モデルにおける2つの問題,すなわちグローバルな文脈理解の不十分さとショートカットの問題を明らかにする。 不適切な文脈理解は、モデルがマルチモーダルな文脈を誤って解釈し、誤った答えをもたらすときに起こりうる。 ショートカット問題は、モデルがマルチモーダル入力において重要な手がかりを見落とし、マルチモーダル情報を考慮せずにクエリに直接対処する場合に発生する。 これらの課題に対処するために,マルチモーダル入力におけるグローバルコンテキストを明確に理解したモデルの必要性を強調した。 このグローバルコンテキスト理解は、モデルが重要なマルチモーダルキューを見渡すのを効果的に防ぎ、完全な推論プロセスを保証する。 マルチモーダルな文脈情報の正確な解釈を保証するため,大言語モデルによって判断される文脈報酬と,形式と精度の報酬を併用して実装する。 さらに、複雑な推論能力を向上させるために、論理的報酬を評価するためにLLMを使用し、推論プロセスが論理的手法とマルチモーダル情報をうまく統合するかどうかを判断する。 また、複雑な人間の意図や感情を理解する上でモデルを評価することを目的とした、Omni-modalベンチマークであるIntentBenchを紹介した。 提案手法は,他のオープンソースオムニモーダルモデルと比較して,複数のオムニモーダルベンチマークにおける高度な性能を示す。

関連論文リスト

• Infi-MMR: Curriculum-based Unlocking Multimodal Reasoning via Phased Reinforcement Learning in Multimodal Small Language Models [45.15161506154318]
  Infi-MMRは、マルチモーダル小言語モデルの推論能力を体系的に解放するフレームワークである。 第1フェーズであるFoundational Reasoning Activationは、高品質なテキスト推論データセットを活用して、モデルの論理推論能力を活性化し、強化する。 第2のフェーズであるクロスモーダル推論適応は、キャプション拡張されたマルチモーダルデータを使用して、推論スキルをマルチモーダルコンテキストにプログレッシブに転送する。 第3フェーズであるMultimodal Reasoning Enhancementでは、言語バイアスを緩和し、堅牢なクロスモーダル推論を促進するために、キュレートされたキャプションフリーなマルチモーダルデータを採用している。
  論文  参考訳（メタデータ） (2025-05-29T04:51:56Z)
• Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models [79.52467430114805]
  推論は知性の中心にあり、決定し、結論を導き、ドメインをまたいで一般化する能力を形成する。 人工知能において、システムがオープンで不確実でマルチモーダルな環境でますます機能するにつれて、推論は堅牢で適応的な行動を可能にするために不可欠となる。 大規模マルチモーダル推論モデル(LMRM)は、テキスト、画像、オーディオ、ビデオなどのモダリティを統合し、複雑な推論機能をサポートする、有望なパラダイムとして登場した。
  論文  参考訳（メタデータ） (2025-05-08T03:35:23Z)
• Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
  推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。 大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。 本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
  論文  参考訳（メタデータ） (2025-04-04T04:04:56Z)
• Visual-O1: Understanding Ambiguous Instructions via Multi-modal Multi-turn Chain-of-thoughts Reasoning [53.45295657891099]
  本稿では,マルチモーダルなマルチターン・チェーン・オブ・シークレット・推論・フレームワークであるVisual-O1を提案する。 人間のマルチモーダルなマルチターン推論をシミュレートし、高度にインテリジェントなモデルに即時体験を提供する。 私たちの研究は、不確実性と曖昧さのある現実のシナリオにおいて、人工知能が人間のように機能する可能性を強調します。
  論文  参考訳（メタデータ） (2024-10-04T11:18:41Z)
• Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
  MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。 本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T11:32:41Z)
• DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models [28.712359821231182]
  大規模言語モデル(LLM)は、思考の連鎖(CoT)を利用して人間の思考を模倣することによって、言語モダリティの多段階的推論において顕著な進歩を遂げた。 これらの進歩をマルチモーダルな文脈に移すことは、労働集約的アノテーションの非現実的な必要性に限らず、より高い課題をもたらす。 本研究では,複数モーダリティを推論に組み込んだDDCoTプロンプトを提案する。
  論文  参考訳（メタデータ） (2023-10-25T08:03:10Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。