論文の概要: HKD4VLM: A Progressive Hybrid Knowledge Distillation Framework for Robust Multimodal Hallucination and Factuality Detection in VLMs

• arxiv url: http://arxiv.org/abs/2506.13038v2
• Date: Tue, 17 Jun 2025 14:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 13:08:30.11321
• Title: HKD4VLM: A Progressive Hybrid Knowledge Distillation Framework for Robust Multimodal Hallucination and Factuality Detection in VLMs
• Title（参考訳）: HKD4VLM:VLMにおけるロバストなマルチモーダル幻覚とファクチュアリティ検出のためのプログレッシブハイブリッド知識蒸留フレームワーク
• Authors: Zijian Zhang, Xuecheng Wu, Danlei Huang, Siyu Yan, Chong Peng, Xuezhi Cao,
• Abstract要約: 本稿では、Responsible AIチャレンジの2つのトラックに対するソリューションを提案する。 本稿では,HKD4VLMと呼ばれる,先進的なハイブリッド知識蒸留フレームワークを提案する。 具体的には、このフレームワークをピラミッド様のプログレッシブオンライン蒸留と3次結合精製蒸留に分解することができる。
• 参考スコア（独自算出の注目度）: 11.40571767579383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driven by the rapid progress in vision-language models (VLMs), the responsible behavior of large-scale multimodal models has become a prominent research area, particularly focusing on hallucination detection and factuality checking. In this paper, we present the solution for the two tracks of Responsible AI challenge. Inspirations from the general domain demonstrate that a smaller distilled VLM can often outperform a larger VLM that is directly tuned on downstream tasks, while achieving higher efficiency. We thus jointly tackle two tasks from the perspective of knowledge distillation and propose a progressive hybrid knowledge distillation framework termed HKD4VLM. Specifically, the overall framework can be decomposed into Pyramid-like Progressive Online Distillation and Ternary-Coupled Refinement Distillation, hierarchically moving from coarse-grained knowledge alignment to fine-grained refinement. Besides, we further introduce the mapping shift-enhanced inference and diverse augmentation strategies to enhance model performance and robustness. Extensive experimental results demonstrate the effectiveness of our HKD4VLM. Ablation studies provide insights into the critical design choices driving performance gains.
• Abstract（参考訳）: 視覚言語モデル(VLM)の急速な進歩により、大規模マルチモーダルモデルの責任ある振る舞いは顕著な研究領域となり、特に幻覚検出と事実チェックに焦点を当てている。 本稿では,Responsible AIチャレンジの2つのトラックに対する解決策を提案する。 一般領域からの吸気は、より小さな蒸留されたVLMが、下流のタスクで直接チューニングされるより大きなVLMよりも高い効率を達成することをしばしば示している。 そこで我々は,知識蒸留の観点から2つの課題に共同で取り組み,HKD4VLMと呼ばれる先進的なハイブリッド知識蒸留フレームワークを提案する。 具体的には、全体的なフレームワークをピラミッドのようなプログレッシブオンライン蒸留と3次結合リファインメント蒸留に分解することができ、階層的に粗粒度の知識アライメントから細粒度の精細化へと移行する。 さらに、モデル性能とロバスト性を高めるため、マッピングシフト強化推論と多様な拡張戦略についても紹介する。 HKD4VLMの有効性について検討した。 アブレーション研究は、パフォーマンス向上を駆動する重要な設計選択に関する洞察を提供する。

関連論文リスト

• Advancing Multimodal Reasoning Capabilities of Multimodal Large Language Models via Visual Perception Reward [87.06604760273372]
  本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。 本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-08T16:48:42Z)
• DCM: Dual-Expert Consistency Model for Efficient and High-Quality Video Generation [57.33788820909211]
  本稿では,パラメータ効率の高いtextbfDual-Expert Consistency Model (DCM) を提案する。 提案手法は, ビデオ拡散モデル蒸留における専門的専門化の有効性を実証し, サンプリング工程を大幅に短縮して, 最先端の視覚品質を実現する。
  論文  参考訳（メタデータ） (2025-06-03T17:55:04Z)
• mRAG: Elucidating the Design Space of Multi-modal Retrieval-Augmented Generation [5.647319807077936]
  LVLM(Large Vision-Language Models)は、視覚的質問応答、視覚的接地、複雑な推論といったマルチモーダルなタスクにおいて顕著な進歩を遂げている。 Retrieval-Augmented Generation (RAG)は、LVLMが検索機構を介して大規模知識データベースにアクセスできるようにすることにより、これらの課題を軽減するための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-29T23:32:03Z)
• Sample Efficient Reinforcement Learning via Large Vision Language Model Distillation [19.48826538310603]
  大規模視覚言語モデル(LVLM)からより効率的な強化学習エージェントへ知識を抽出するフレームワークであるLVLM to Policy(LVLM2P)を紹介する。 提案手法はLVLMを教師として活用し,RLエージェントが収集した軌跡に基づく指導行動を提供する。 LVLM2Pは,ベースラインRLアルゴリズムのサンプル効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-05-16T13:15:54Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
  人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。 現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。 本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
  論文  参考訳（メタデータ） (2025-03-17T04:06:34Z)
• Astrea: A MOE-based Visual Understanding Model with Progressive Alignment [10.943104653307294]
  マルチモーダル理解において,Mixture-of-Experts (MoE)アーキテクチャに基づく視覚言語モデル (VLM) が重要なパラダイムとして登場した。 本稿では,プログレッシブ事前アライメントに基づく新しいマルチエキスパート協調型VLMアーキテクチャであるAstreaを提案する。
  論文  参考訳（メタデータ） (2025-03-12T14:44:52Z)
• Every SAM Drop Counts: Embracing Semantic Priors for Multi-Modality Image Fusion and Beyond [52.486290612938895]
  本稿では,Segment Anything Model (SAM) のセグメンテーションモデルからのセグメンテーション知識を利用して,融合結果の質を向上し,下流タスク適応性を実現する手法を提案する。 具体的には、SAMから高レベルなセマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アテンション(SPA)モジュールを抽出し、永続リポジトリを介してソース情報を効率的に保持する。 本手法は,実運用効率を維持しつつ,高品質な視覚結果と下流タスク適応性のバランスを実現する。
  論文  参考訳（メタデータ） (2025-03-03T06:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。