論文の概要: ExPLoRe: Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling

• arxiv url: http://arxiv.org/abs/2606.31201v1
• Date: Tue, 30 Jun 2026 06:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.103901
• Title: ExPLoRe: Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling
• Title（参考訳）: ExPLoRe:多目的マスク画像モデリングのためのエキスパートパッチレベルロスルーティング
• Abstract要約: 本稿では,Expert Patch-Level Loss Routing(Expert Patch-Level Loss Routing)を提案する。 剥離アブレーションにより損失カップリングがコアメカニズムとして確認され、勾配がブロックされると1.6%が劣化する。 下流転送では,バニラMoEよりもMoEファインタニングを+1.5%向上させる適応レシピ(フリーズルーティング,エキスパートドロップアウト,フリーズアテンション)を開発した。
• 参考スコア（独自算出の注目度）: 4.650294470355587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-objective masked image modeling (MIM) combines complementary learning signals (token distillation, CLS alignment, and pixel reconstruction) but existing methods weight these objectives with global scalars, ignoring spatial heterogeneity across patches. We present ExPLoRe (Expert Patch-Level Loss Routing), which repurposes Soft Mixture of Experts (MoE) dispatch weights as learned, per-patch loss coefficients. The key mechanism is loss-coupling: allowing loss gradients to flow through dispatch weights to the router enables content-dependent specialization, where different patches receive different emphases across objectives. A detach ablation confirms loss-coupling as the core mechanism, degrading performance by 1.6% when gradients are blocked. On ImageNet-1K with ViT-Base, ExPLoRe improves over non-MoE baselines on two objective combinations (Token+CLS: +0.5% k-NN, +4.4% linear probe; Token+Pixel: +2.2% k-NN), achieving 80.6% linear probe and 85.3% finetuning accuracy, competitive with published methods. For downstream transfer, we develop adaptation recipes (Freeze Routing, Expert Dropout, and Freeze Attention) that improve MoE finetuning by +1.5% over the vanilla MoE, and close a 2.5--2.9 mIoU segmentation gap so that MoE models match or exceed non-MoE baselines on ADE20K.
• Abstract（参考訳）: マルチオブジェクトマスク画像モデリング(MIM)は相補的な学習信号(トーケン蒸留、CRSアライメント、ピクセル再構成)を組み合わせるが、既存の方法はこれらの目的をグローバルスカラーで重み付けし、パッチ間の空間的不均一性を無視する。 本稿では,Expert Patch-Level Loss Routing(Expert Patch-Level Loss Routing)を提案する。 ルータへのディスパッチウェイトを通した損失勾配のフローを可能にすることで、異なるパッチが目的に対して異なるエミュフェーズを受信する、コンテンツ依存の特殊化が可能になる。 剥離アブレーションにより損失カップリングがコア機構として確認され、勾配がブロックされた場合に性能が1.6%低下する。 ImageNet-1KとViT-Baseでは、ExPLoReは2つの目的の組み合わせ(Token+CLS: +0.5% k-NN、+4.4% 線形プローブ、Token+Pixel: +2.2% k-NN)の非MoEベースラインを改良し、80.6% 線形プローブと85.3% 微調整精度を実現し、公開手法と競合する。 下流転送では,MoEモデルがADE20K上の非MoEベースラインに適合または超えるように,MoEファインタニングをバニラMoEよりも+1.5%向上し,2.5--2.9 mIoUセグメンテーションギャップを閉じる適応レシピ(フリーズルーティング,エキスパートドロップアウト,フリーズアテンション)を開発する。

関連論文リスト

• AdaVSkip: Adaptive Visual Token Skipping Across Layers For Efficient MLLMs Inference [14.50173720268662]
  マルチモーダル・大規模言語モデル(MLLM)は、すべてのトランスフォーマー層にまたがる多数の視覚トークンを処理するために、かなりの計算を必要とする。 本稿では,AdaVSkipを提案する。AdaVSkipは各層に2つの軽量ルータを装備し,視覚トークンが通過するか否かを独立に判断する。 AdaVSkipは、計算量を大幅に減らしながら、強いタスク性能を維持している。
  論文  参考訳（メタデータ） (2026-09-14T07:07:51Z)
• CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield [1.2203679037551938]
  計算効率のよい言語モデルを学習するための3つの手法について検討する。 SGTはセマンティックペイロードを持つ出力トークンの15%を監督する。 リカレントリカバリによる 深度圧縮 韓国の基盤モデルであるCHERRY-1.8Bでこれらの手法を検証する。
  論文  参考訳（メタデータ） (2026-06-30T15:14:38Z)
• CLEAR-MoE: Shared-Basis Expert Extraction from Frozen Vision Transformers via Calibration-Driven Layer Selection [0.0]
  CLEAR-MoEは、凍結した事前訓練されたビジョントランスフォーマー(ViT)をバックボーン重みを更新することなく、スパースミクチャー・オブ・エクササイズ(MoE)モデルに変換するポストトレーニングパイプラインである。 GTX 960では、ルーティングと散乱計のオーバーヘッドにより、CLEAR-MoE FFN 1.3-1.7xは高密度ルータよりも遅い。
  論文  参考訳（メタデータ） (2026-06-26T18:12:03Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP [6.450516062706025]
  CLIPのような共同埋め込みアーキテクチャでは、量子化されたCNN分類器とは異なる障害モードが導入されている。 我々はこれをQIRC(Quantization-induced Representation Collapse)と呼び、CLIP ViT-B/32を置き換えるINT8上で定量化する。 雑音飽和層をバイパスするLRA-EE(Layer-wise Representation-Aware Early Exit)を提案する。 ImageNet-1K ゼロショット分類では、LRA-EE は FLOP を 13.4% 削減し、Top-1 の精度を +2.44%p (58.72% -> 61.16%) 向上させる。
  論文  参考訳（メタデータ） (2026-05-26T00:45:46Z)
• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• Joint Transmit and Pinching Beamforming for Pinching Antenna Systems (PASS): Optimization-Based or Learning-Based? [89.05848771674773]
  MISO (Multiple-input Single-output) フレームワークを提案する。 それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。 PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
  論文  参考訳（メタデータ） (2025-02-12T18:54:10Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• Sub-token ViT Embedding via Stochastic Resonance Transformers [51.12001699637727]
  Vision Transformer (ViT) アーキテクチャは、画像を高次元のベクトル化トークンの集合として表現し、それぞれが長方形の非重複パッチに対応する。 我々は「確率共鳴」にインスパイアされた無訓練法を提案する。 結果として得られるSRT(Stochastic Resonance Transformer)は、元の表現のリッチな意味情報を保持するが、空間的トークン化の粗い効果を軽減し、より微細な空間領域に基盤を置いている。
  論文  参考訳（メタデータ） (2023-10-06T01:53:27Z)
• Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
  浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。 私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。 提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
  論文  参考訳（メタデータ） (2023-08-01T03:44:56Z)
• Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning [79.43940012723539]
  ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。 提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-23T07:38:09Z)
• Learning Robust and Lightweight Model through Separable Structured Transformations [13.208781763887947]
  本稿では、畳み込みニューラルネットワークのパラメータを低減するために、完全連結層を分離可能な構造変換を提案する。 ネットワークパラメータの90%削減に成功し、ロバストな精度損失は1.5%未満である。 我々は、ImageNet、SVHN、CIFAR-100、Vision Transformerなどのデータセットに対する提案手法を評価する。
  論文  参考訳（メタデータ） (2021-12-27T07:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。