論文の概要: Hyperbolic and Evidence-Prioritized Experts for Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2606.00275v1
- Date: Fri, 29 May 2026 19:08:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.196572
- Title: Hyperbolic and Evidence-Prioritized Experts for Large Vision-Language Models
- Title（参考訳）: 大規模視覚言語モデルのための双曲的・エビデンス・プリオリティ付きエキスパート
- Abstract要約: 本稿では、この非対称性を3つの専門的専門家グループを通して明示的にモデル化する新しいアーキテクチャであるAsyMoEを提案する。
AsyMoEはベースライン法よりも一貫した改善を実現し、MoEの変種よりも平均1.5%、幻覚感受性タスクでは最大3.8%向上した。
- 参考スコア（独自算出の注目度）: 10.260584344500709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Vision-Language Models (LVLMs) have demonstrated impressive performance on multimodal tasks through scaled architectures and extensive training. Recent studies introduce Mixture of Experts (MoE) into LVLMs for improved computational efficiency. However, existing MoE approaches treat visual and linguistic modalities with symmetric architectures, overlooking the inherent asymmetry in how these two modalities are processed. This asymmetry causes two critical issues. First, text and vision form hierarchical rather than parallel relationships, as text queries typically describe partial aspects of complete visual scenes. Euclidean expert space struggles to encode such containment structures. Second, language experts in deeper layers progressively shift from evidence-based processing to parametric memory dependence, losing grounding in the provided visual and linguistic information. To address these issues, we propose AsyMoE, a novel architecture that explicitly models this asymmetry through three specialized expert groups. Intra-modality experts handle modality-specific processing. Hyperbolic inter-modality experts capture hierarchical cross-modal relationships through negative curvature geometry. Evidence-priority language experts suppress parametric memory activation and maintain contextual grounding throughout network depth. Extensive experiments demonstrate that AsyMoE achieves consistent improvements over baseline methods, with average gains of 1.5\% over MoE variants and up to 3.8\% on hallucination-sensitive tasks. AsyMoE activates 25.45\% fewer parameters compared to dense models.
- Abstract（参考訳）: LVLM(Large Vision-Language Models)は、大規模アーキテクチャと広範囲なトレーニングを通じて、マルチモーダルタスクにおける印象的なパフォーマンスを実証している。
最近の研究は、計算効率を向上させるために、Mixture of Experts (MoE)をLVLMに導入している。
しかし、既存のMoEアプローチは、視覚的および言語的モダリティを対称的なアーキテクチャで扱い、これらの2つのモダリティの処理方法に固有の非対称性を見越す。
この非対称性は2つの重要な問題を引き起こす。
テキストクエリは通常、完全な視覚シーンの部分的な側面を記述するため、テキストと視覚は平行関係ではなく階層構造を形成する。
ユークリッドの専門家空間はそのような包含構造を符号化するのに苦労する。
第二に、深い階層の言語専門家は、エビデンスベースの処理からパラメトリックメモリ依存へと徐々にシフトし、提供された視覚情報と言語情報の基盤を失います。
これらの問題に対処するため、我々は3つの専門的専門家グループを通してこの非対称性を明示的にモデル化する新しいアーキテクチャAsyMoEを提案する。
モダリティ内の専門家は、モダリティ固有の処理を扱う。
双曲的モダリティの専門家は、負の曲率幾何学を通して階層的クロスモーダル関係を捉えている。
エビデンス・プライオリティ言語の専門家は、パラメトリックメモリのアクティベーションを抑え、ネットワーク深度を通してコンテキスト基底を維持する。
大規模な実験により、AsyMoEはベースライン法よりも一貫した改善を達成し、MoE変種よりも平均1.5倍、幻覚感受性タスクでは最大3.8倍に向上した。
AsyMoE は高密度モデルに比べて 25.45 % のパラメータを活性化する。
関連論文リスト
- Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。
我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
論文 参考訳（メタデータ） (2026-06-15T15:08:09Z) - Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence [63.11502936651325]
本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。
RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。
GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-25T01:33:19Z) - Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models [58.9387276447485]
視覚推論 前者(VIF)は、純粋な視覚表現とモデルの出力空間の間の橋渡しを確立する軽量アーキテクチャモジュールである。
一般的な推論、OCR、テーブル理解、視覚中心の評価、幻覚を含む14のベンチマークタスクについて実験を行った。
論文 参考訳（メタデータ） (2026-05-18T10:04:22Z) - LAST: Leveraging Tools as Hints to Enhance Spatial Reasoning for Multimodal Large Language Models [27.76634830542925]
空間的推論は 知的なシステムが 物理的世界を理解し 相互作用する 基盤となる能力です
ツール強化空間推論のための統一的フレームワーク LAST を提案する。
LASTは、異種ツール呼び出しをアトミック命令に呼び出す、インタラクティブなサンドボックスであるLAST-Boxを備えている。
また、ツールのアウトプットの理解から、熟練した適応的なツールの実行まで、モデルをガイドする3段階のプログレッシブトレーニング戦略も設計しています。
論文 参考訳（メタデータ） (2026-04-08T06:28:03Z) - PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。
約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。
本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
論文 参考訳（メタデータ） (2025-12-22T12:49:12Z) - AsyMoE: Leveraging Modal Asymmetry for Enhanced Expert Specialization in Large Vision-Language Models [15.495054753492584]
この非対称性を3つの専門的専門家群を用いてモデル化する新しいアーキテクチャであるAsyMoEを提案する。
我々は、モダリティ固有の処理のためのモダリティ内エキスパート、階層的相互モーダル相互作用のためのモダリティ間エキスパート、およびパラメトリックバイアスを抑えるためのエビデンス-プライオリティ言語エキスパートを設計し、文脈的基盤を維持する。
AsyMoEは26.58%、精度は15.45%で、バニラMoEとモダリティ比のMoEは25.45%、高密度モデルは25.45%である。
論文 参考訳（メタデータ） (2025-09-16T06:16:05Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-06-29T06:41:00Z) - MoLAE: Mixture of Latent Experts for Parameter-Efficient Language Models [10.623996218106564]
Mixture of Experts (MoE)は、Large Language Models (LLM)を効率的にスケーリングするための重要なアーキテクチャパラダイムとなっている。
我々は、共有射影を通して専門家の操作を低次元の潜在空間に変換する新しいパラメータ化であるMoLAEを導入し、それに続いて専門家固有の変換を行う。
モデル性能を保ちながら,MoLAEは複数の次元にわたる効率を著しく向上することを示す。
論文 参考訳（メタデータ） (2025-03-29T14:35:34Z) - EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。
EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-02T23:00:31Z) - Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained
Language Models [68.9288651177564]
量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。
分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。
GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
論文 参考訳（メタデータ） (2022-03-02T13:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。