論文の概要: Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2607.02909v1
• Date: Fri, 03 Jul 2026 03:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.454891
• Title: Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models
• Title（参考訳）: 大規模マルチモーダルモデルのための階層的表現規則化を用いた分類木学習
• Abstract要約: 大規模なマルチモーダルモデル(LMM)は、しばしば分類学的な知識が欠如しており、階層的視覚認識(HVR)の一貫性が低い。 LMMにおける階層整合性を改善するシンプルなプラグアンドプレイ正規化器である階層表現正規化(HiR2$)を提案する。 HiR2$は、様々なLMMと微調整方法の分類構造を効果的にキャプチャする。
• 参考スコア（独自算出の注目度）: 47.868429337792314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Taxonomies provide key information about the semantic relationships between concepts and the inherent organization of vision and language. Despite their impressive capabilities, large multimodal models (LMMs) often lack taxonomic knowledge, leading to low hierarchical visual recognition (HVR) consistency. These models typically only rely on language modeling objectives during fine-tuning and lack explicit taxonomy-aware regularization. To address this, we propose Hierarchical Representation Regularization ($HiR^2$), a simple plug-and-play regularizer that improves hierarchical consistency in LMMs. Specifically, we introduce a semantic-aware visual tree construction framework that extracts coarse-to-fine visual features from intermediate LLM layers guided by textual cues. The regularizer combines two complementary objectives: a taxonomic entailment loss that enforces hierarchy via hyperbolic entailment cones in the Lorentz model, and a discriminative dispersive loss that promotes angular separation of semantically similar embeddings on the unit sphere without disturbing the radial hierarchical structure. Extensive experiments demonstrate that $HiR^2$ effectively captures taxonomic structures across diverse LMMs and fine-tuning methods. Code is available at https://github.com/PKU-ICST-MIPL/HiR2_ICML2026.
• Abstract（参考訳）: 分類学は、概念と視覚と言語の本質的な組織の間の意味的関係に関する重要な情報を提供する。 その印象的な能力にもかかわらず、大きなマルチモーダルモデル(LMM)は分類学的な知識を欠くことが多く、階層的視覚認識(HVR)の整合性が低い。 これらのモデルは典型的には、微調整中に言語モデリングの目的にのみ依存し、明確な分類を意識しない正規化を欠いている。 そこで我々は,LMMにおける階層的整合性を改善するシンプルなプラグアンドプレイ正規化器である階層表現正規化(HiR^2$)を提案する。 具体的には,テキストでガイドされた中間LCM層から粗い視覚特徴を抽出する意味認識型視覚木構築フレームワークを提案する。 正規化器は、ローレンツモデルにおける双曲的包摂円錐を通して階層を強制する分類学的包含損失と、ラジアル階層構造を乱すことなく、単位球上に意味論的に類似した埋め込みの角分離を促進する識別的分散損失の2つの相補的な目的を結合する。 大規模な実験により、$HiR^2$は様々なLMMおよび微調整方法にわたる分類学的構造を効果的に捉えることが示されている。 コードはhttps://github.com/PKU-ICST-MIPL/HiR2_ICML2026で公開されている。

関連論文リスト

• Structured-Condensed Prompt Tuning in Vision-Language Models for Fine-grained Image Recognition [38.294322671641545]
  微粒な画像認識は、手動のアノテーションに必要な相当な専門知識と努力のために重要な課題である。 現在のメソッドでは、クラスラベルを独立した独立したエンティティとして扱い、それらの間のリッチなセマンティックな関係を見渡しています。 本稿では,素早い学習における意味的構造モデリングの強化を目的としたSCPT(Structured-Condensed Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2026-07-07T12:09:49Z)
• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation [58.1914505657064]
  本稿では,クラスレベルのセマンティクスと空間コンテキスト間の知識干渉の課題を軽減するために,単純な並列コストアグリゲーション(PCA-Seg)パラダイムを提案する。 8つのベンチマークの実験では、PCA-Segの各並列ブロックは0.35万のパラメータしか追加せず、最先端のOSPS性能を実現している。
  論文  参考訳（メタデータ） (2026-03-18T09:26:43Z)
• Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models [47.868429337792314]
  高パフォーマンスで汎用的な視覚理解モデルは、ラベルの分類木に視覚入力をマッピングすべきである。 我々は,分類学的知識をLMMに注入する簡易かつ効果的な方法として,分類学的認識表現アライメント(TARA)を提案する。 TARAはLMMの階層的一貫性と葉ノードの精度を一貫して強化し、既知のカテゴリと新しいカテゴリの両方を確実に認識する。
  論文  参考訳（メタデータ） (2026-02-28T03:13:15Z)
• Fine-R1: Make Multi-modal LLMs Excel in Fine-Grained Visual Recognition by Chain-of-Thought Reasoning [47.868429337792314]
  Fine-R1は、ファイングラインド視覚認識用に設計されたR1スタイルのMLLMである。 4ショットのトレーニングだけで、Fine-R1は既存のMLLMよりも優れており、MLLMの推論や、対照的なCLIPモデルも優れている。
  論文  参考訳（メタデータ） (2026-02-07T16:16:51Z)
• Hierarchy-Aware Fine-Tuning of Vision-Language Models [18.244518940229202]
  視覚言語モデルは、大規模な画像テキスト事前学習を通じて強力なマルチモーダル表現を学習する。 標準的アプローチはラベルをフラットなカテゴリとして扱い、完全な微調整を必要とする。 構造的一貫性を保ちつつ,いくつかのパラメータを更新する,効率的な階層型微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-25T06:44:33Z)
• ParaUni: Enhance Generation in Unified Multimodal Model with Reinforcement-driven Hierarchical Parallel Information Interaction [55.21514454560188]
  統一マルチモーダルモデルでは、視覚の粒度モデル(VLM)と拡散モデルを組み合わせることで、視覚生成を著しく改善する。 既存の手法は、表現の差が大きいため、十分な相互作用と柔軟な実装のバランスをとるのに苦労する。 我々は,textbfParallel方式でVLMの変形層から特徴を抽出し,包括的情報インタラクションを実現するtextbfParaUniを提案する。
  論文  参考訳（メタデータ） (2025-12-05T04:41:57Z)
• Leveraging Taxonomy and LLMs for Improved Multimodal Hierarchical Classification [19.80724112056431]
  マルチモーダル分類のための分類組込み遷移LLM非依存フレームワークを提案する。 MEP-3Mデータセットを用いた評価では,従来のLCM構造と比較して,大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2025-01-12T14:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。