論文の概要: Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2608.00574v1
• Date: Sat, 01 Aug 2026 10:23:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 21:56:46.371564
• Title: Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts
• Title（参考訳）: Relax, Balance Across:Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts
• Abstract要約: Vision-Wu MoEバッチには、画像とテキストトークンの数が異なる。 標準トークンレベルスイッチ補助損失 Std-Aux と呼ぶ。 我々のメインモデルでは、同じ訓練されたルータが画像解像度の5倍以上の負荷不均衡の変化を示している。
• 参考スコア（独自算出の注目度）: 29.106895885478824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language MoE batches contain different numbers of image and text tokens. Image resolution, image count, tiling, and prompt length all change this token mix. We call the standard token-level Switch auxiliary loss Std-Aux. Std-Aux balances only the mixed load, so large image and text load errors can cancel at one mix. On our main model, the same trained router shows more than a fivefold change in load imbalance across image resolutions. We hold the image and text load profiles fixed and derive the exact load curve as the token mix varies. The image-text load gap controls sensitivity to the token mix. Physical preprocessing can also change the conditional profiles. The fixed-profile law excludes such changes. To design a remedy, we examine the router input structure. Image and text occupy distinct regions, while visual tokens group strongly by source image. The modality boundary motivates separate image and text terms. The image boundary motivates one equal-weight routing instance per image. ReBA, or Relax Within, Balance Across, implements both choices. Across four split backbones, ReBA lowers load on every reported benchmark input while keeping mean task accuracy comparable to Std-Aux. ReBA also lowers average load over the tested range and worst physical load under resolution and tiling shifts. Code is available at https://github.com/ZiangWu-77/ReBA.
• Abstract（参考訳）: 視覚言語MOEバッチには、画像とテキストトークンの数が異なる。 画像の解像度、画像のカウント、タイリング、そしてプロンプトの長さはすべて、トークンのミックスを変えます。 標準トークンレベルスイッチ補助損失 Std-Aux と呼ぶ。 Std-Auxは混合負荷のみのバランスをとるため、大きな画像とテキストの負荷エラーは1回でキャンセルできる。 我々のメインモデルでは、同じ訓練されたルータが画像解像度の5倍以上の負荷不均衡の変化を示している。 画像とテキストのロードプロファイルを固定し、トークンの混合によって正確なロード曲線を導出します。 画像-テキストのロードギャップはトークンミックスに対する感度を制御する。 物理前処理は条件プロファイルも変更できる。 定例法はそのような変更を除外している。 対策として, ルータの入力構造について検討する。 画像とテキストは異なる領域を占有し、視覚トークンはソースイメージによって強くグループ化される。 モダリティ境界は、別々の画像とテキスト用語を動機付けます。 画像境界は、画像毎に1つの等重量ルーティングインスタンスを動機付ける。 ReBA,あるいはRelax Insider, Balance Acrossは両方の選択肢を実装している。 4つの分割バックボーンで、ReBAはレポートされたベンチマーク入力の負荷を削減し、平均タスク精度はStd-Auxに匹敵する。 また、ReBAはテスト範囲の平均負荷を低くし、解像度とタイリングシフトで最悪の物理負荷を発生させる。 コードはhttps://github.com/ZiangWu-77/ReBAで入手できる。

関連論文リスト

• A${}^2$BM: Alignment-Aware Bridge Matching for Image-to-Image Translation [13.749611763484173]
  トレーニング中に画像ペアのアライメントを利用するブリッジマッチング手法であるアライメント・アウェア・ブリッジマッチング(A$2$BM)を導入する。 アライメントスコアを組み込むことで、モデルは、誤アライメントアーティファクトから真の意味的対応を解き放つことを学習する。 我々は、制御された合成実験と、クロスセンサー超解像や画素空間の非教師なし領域適応を含む現実世界の課題について、A$2$BMの検証を行った。
  論文  参考訳（メタデータ） (2026-07-13T08:00:58Z)
• MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training [53.777757218665386]
  MaskAlignは、トレーニング中にランダムにサンプリングされたトークンサブセットにアライメントを適用するトークン-サブセット表現アライメント手法である。 我々は、MaskAlignが完全なトークン集合への配向の依存を減らし、トークン-サブセット摂動下でより安定な配向挙動を促進することを示す。
  論文  参考訳（メタデータ） (2026-06-07T19:11:22Z)
• Enhancing Multi-Image Understanding through Delimiter Token Scaling [25.247506519133406]
  LVLM(Large Vision-Language Models)は,複数の画像が入力として提供されると,その性能が低下する。 主要な理由の1つはクロスイメージ情報漏洩であり、そこではモデルは異なる画像間で情報を区別するのに苦労する。 既存のLVLMでは、各画像の開始と終了をマークするためにトークンが既に使用されているが、分析の結果、これらのトークンがクロスイメージ情報漏洩を効果的にブロックできないことが判明した。 トークンの隠蔽状態を拡大する手法を提案する。これにより、画像内相互作用を強化し、望ましくないクロスを制限することにより、画像固有情報を保存できる能力が向上する。
  論文  参考訳（メタデータ） (2026-02-02T11:38:01Z)
• TrimTokenator-LC: Towards Adaptive Visual Token Pruning for Large Multimodal Models with Long Contexts [6.465999214817427]
  視覚トークンの数が増加すると、推論コストが大幅に増加する。 有望なソリューションとして、ビジュアルトークンプルーニングが登場した。 当社のアプローチでは、長期のコンテキスト設定でパフォーマンスを維持しながら、最大80%の視覚トークンを削減できます。
  論文  参考訳（メタデータ） (2025-12-28T02:40:56Z)
• Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
  マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。 マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。 本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
  論文  参考訳（メタデータ） (2025-06-09T17:54:04Z)
• CAT: Content-Adaptive Image Tokenization [92.2116487267877]
  本稿では,CAT(Content-Adaptive Tokenizer)を導入し,画像の内容に基づいて表現能力を調整し,より単純な画像をより少ないトークンにエンコードする。 本研究では,大容量言語モデル(LLM)を利用したキャプションベース評価システムの設計を行い,コンテントの複雑さを予測し,与えられた画像に対する最適な圧縮比を決定する。 トークン割り当てを最適化することで、CATは同じフロップでトレーニングされた固定比率ベースラインよりもFIDスコアを改善し、推論スループットを18.5%向上させる。
  論文  参考訳（メタデータ） (2025-01-06T16:28:47Z)
• MSViT: Dynamic Mixed-Scale Tokenization for Vision Transformers [14.787864686489032]
  画像領域毎に最適なトークンスケールを選択する条件ゲーティング機構を導入する。 我々のゲーティングモジュールは、粗いパッチレベルでローカルに動作しているにもかかわらず意味のある意味を学習できることを示す。 トークンプルーニングとは対照的に、MSViTは入力に関する情報を失うことはないため、密集したタスクに容易に適用できる。
  論文  参考訳（メタデータ） (2023-07-05T14:22:31Z)
• Not All Patches are What You Need: Expediting Vision Transformers via Token Reorganizations [37.11387992603467]
  ViT(Vision Transformer)は、すべてのイメージパッチをトークンとして取り込んで、MHSA(Multi-head Self-attention)を構築する。 例えば、意味的に無意味な画像背景を含むトークンがある。 本稿では、トレーニング中にViTに統合されたVTモデルのフィードフォワードプロセス中に画像トークンを再編成することを提案する。
  論文  参考訳（メタデータ） (2022-02-16T00:19:42Z)
• BalaGAN: Image Translation Between Imbalanced Domains via Cross-Modal Transfer [53.79505340315916]
  ドメイン不均衡問題に対処するために特別に設計されたBalaGANを紹介する。 我々は、画像から画像への変換問題を、バランスよく、複数クラス、条件付き翻訳問題に変換するために、よりリッチなドメインの潜在モダリティを利用する。 本研究では,BalaGANが,無条件およびスタイル変換に基づく画像から画像への変換方式の強いベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-05T14:16:41Z)
• Contrastive Learning for Unpaired Image-to-Image Translation [64.47477071705866]
  画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。 本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。 筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
  論文  参考訳（メタデータ） (2020-07-30T17:59:58Z)
• COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder [70.23358875904891]
  教師なし画像画像変換は、与えられた領域内の画像と異なる領域内の類似画像とのマッピングを学習することを目的としている。 入力画像に条件付けされたサンプル画像のスタイル埋め込みを計算し、新しい数ショット画像変換モデルCOCO-FUNITを提案する。 本モデルは,コンテンツ損失問題に対処する上での有効性を示す。
  論文  参考訳（メタデータ） (2020-07-15T02:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。