論文の概要: MergeHEIR: Mitigating Multimodal Hallucinations as the Tax of Model Merging
- arxiv url: http://arxiv.org/abs/2609.32422v1
- Date: Sat, 26 Sep 2026 09:48:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 09:18:56.280464
- Title: MergeHEIR: Mitigating Multimodal Hallucinations as the Tax of Model Merging
- Title（参考訳）: MergeHEIR:マルチモーダル幻覚をモデルマージの税として緩和
- Abstract要約: 我々は,初期専門家から受け継がれた専門知識を維持しつつ,この統合税の削減を目的とした,制約後の適応フレームワークであるMergeHEIRを紹介する。
我々は,MergeHEIRが相変わらず幻覚を緩和し,継承した専門知識を保ちつつ,より好意的な幻覚-保留トレードオフを示すことを示す。
- 参考スコア（独自算出の注目度）: 55.74741319182039
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging consolidates task-specialized experts into a single deployable model. However, we show that such capability consolidation incurs a merging tax of increased hallucination: across 8 model-merging methods, every merged checkpoint exhibits a higher hallucination rate than the average of its constituent experts. An intuitive approach is to adapt existing hallucination-mitigation methods to the post-merge model, yet this unconstrained adaptation disrupts inherited capabilities, creating a tension between hallucination mitigation and expertise retention. To tackle this challenge, we introduce MergeHEIR, a post-merge adaptation framework designed to reduce this merging tax while preserving expertise inherited from initial experts. Using small expert-task calibration sets, MergeHEIR constructs layer-wise null-space projectors via SVD from task-specific activations collected from the merged checkpoint, and periodically projects the accumulated post-merge displacement onto the resulting null spaces to preserve inherited expertise. Theoretically, we establish minimum-distortion and maximum-dimensionality guarantees, characterize the threshold-controlled adaptation-retention trade-off, and extend perturbation guarantees beyond finite calibration data. Across 24 paired comparisons spanning three MLLM configurations and 8 model-merging methods, MergeHEIR consistently mitigates hallucination while largely preserving inherited expertise, demonstrating a more favorable hallucination-retention trade-off.
- Abstract（参考訳）: モデルマージは、タスクの専門家を単一のデプロイ可能なモデルに集約する。
しかし, このような統合化は, 8つのモデルマージ手法において, 各マージチェックポイントは, 構成的専門家の平均よりも高い幻覚率を示す。
直感的なアプローチは、既存の幻覚緩和法をマージ後のモデルに適応させることであるが、この制約のない適応は遺伝能力を阻害し、幻覚緩和と専門的保持の間に緊張を生じさせる。
この課題に対処するため,初期専門家から受け継がれた専門知識を維持しつつ,この合併税の削減を目的とした合併後の適応フレームワークであるMergeHEIRを紹介した。
MergeHEIRは、小さな専門家とタスクのキャリブレーションセットを使用して、マージチェックポイントから収集されたタスク固有のアクティベーションからSVDを介して階層的にヌル空間プロジェクタを構築し、累積したマージ後の変位を結果のヌル空間に定期的に投影して、継承された専門知識を保存する。
理論的には、最小歪みおよび最大次元性保証を確立し、しきい値制御された適応保持トレードオフを特徴づけ、有限校正データを超えて摂動保証を拡張する。
3つのMLLM構成と8つのモデルマージメソッドにまたがる24対の比較では、MergeHEIRは一貫して幻覚を緩和し、継承された専門知識を保ち、より好ましい幻覚と保持のトレードオフを示す。
関連論文リスト
- Unveiling the Depth-Performance Dilemma in Split-Federated Fine-tuning of LLMs [0.8602553195689512]
Split Federated Fine-tuning (SFF)は、Large Language Models (LLM) をスケールするための有望なパラダイムである。
システム効率を最大化する体制は、微調整品質が崩壊する場所である。
論文 参考訳（メタデータ） (2026-08-23T02:53:20Z) - Post-training Quantization for Hybrid Iterative Generative Models [52.791973512723324]
反復生成モデル(IGMs)は自己回帰と拡散のパラダイムにまたがり、それらが結合するハイブリッドな変異は、素晴らしい画像生成の忠実さを達成できる。
ポストトレーニング量子化(PTQ)は加速に訴える一方で、バニラPTQを直接ハイブリッドIGGに適用することでモデル崩壊を引き起こす。
ハイブリッドIGGのためのPTQフレームワークHyGenQを紹介する。
代表的ハイブリッドIGGを8ビット精度(W8A8)に定量化し、既存のベースラインを著しく上回り、異なるモデルファミリ間の堅牢性を検証した。
論文 参考訳（メタデータ） (2026-08-14T04:07:14Z) - Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution [33.44708543696699]
MADE-ITは、多様体幾何学における本質的な専門家表現を基礎にして、専門家の管理と活性化をオーケストレーションする。
実験により、MADE-ITは、長い水平およびシャッフルされたタスクシーケンスの精度と堅牢性において、強いベースラインを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-04-24T11:35:53Z) - Plug-and-Play Diffusion Meets ADMM: Dual-Variable Coupling for Robust Medical Image Reconstruction [45.25461515976432]
画像再構成のための強力なパラダイムとして,DP(Plug-and-Play diffusion prior)フレームワークが登場した。
本稿では, バイアス・ハロシン化トレードオフを解消し, 収束を著しく加速した最先端の勾配を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2026-02-26T16:58:43Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳（メタデータ） (2026-02-10T21:08:53Z) - Ground What You See: Hallucination-Resistant MLLMs via Caption Feedback, Diversity-Aware Sampling, and Conflict Regularization [38.469173375694076]
マルチモーダル大言語モデル(MLLM)における幻覚の根本原因を系統的に解析する。
1)不正確な初期記述が後続の推論を誤った前提に固定する連鎖的視覚推論の過度な信頼、(2)政策最適化中の探索の多様性が不十分で、過度に自信があるが誤ったアウトプットを発生させる要因、(3)トレーニングサンプル間の破壊的な衝突、NTKの類似性が誤関連や不安定なパラメータ更新を引き起こす要因である。
実験の結果,提案手法は幻覚率を著しく低減し,MLLMの推論精度を効果的に向上することが示された。
論文 参考訳（メタデータ） (2026-01-09T07:59:18Z) - HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation [72.69742127579508]
最近の統一モデルでは、理解の専門家(LLMなど)と生成の専門家(拡散モデルなど)を統合している。
本研究では,非対称なH字型アーキテクチャであるHBridgeを提案する。
複数のベンチマークにわたる大規模な実験は、HBridgeの有効性と優れた性能を示している。
論文 参考訳（メタデータ） (2025-11-25T17:23:38Z) - ShortcutBreaker: Low-Rank Noisy Bottleneck with Global Perturbation Attention for Multi-Class Unsupervised Anomaly Detection [59.89803740308262]
ShortcutBreakerはMUADタスクのための新しい統合された機能再構成フレームワークである。
ショートカットの問題に対処する2つの重要なイノベーションが特徴だ。
提案手法は,4つのデータセットに対して,99.8%,98.9%,90.6%,87.8%の顕著な画像レベルのAUROCを実現する。
論文 参考訳（メタデータ） (2025-10-21T06:51:30Z) - Generate Aligned Anomaly: Region-Guided Few-Shot Anomaly Image-Mask Pair Synthesis for Industrial Inspection [53.137651284042434]
異常検査は製造業において重要な役割を担っているが、異常サンプルの不足は既存の方法の有効性を制限している。
本稿では,GAA (Generate grained Anomaly) を提案する。
GAAは少数のサンプルのみを用いて現実的で多様で意味的に整合した異常を発生させる。
論文 参考訳（メタデータ） (2025-07-13T12:56:59Z) - A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System [9.764336669208394]
GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。
しかし、「モデルが非現実的または誤解を招くコンテンツを生成する場所」という幻覚は、特に小規模アーキテクチャでは問題となる。
本稿では,単一のQwen 1.5 0.5Bモデルにおいて,推論性能を高め,幻覚を緩和する仮想ミックス・オブ・エクササイズ(MoE)融合戦略を提案する。
論文 参考訳（メタデータ） (2025-04-01T11:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。