論文の概要: Beyond Layers: Position-Resolved Gradient Conflict and Position-Aware Modulation for Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2609.38485v1
• Date: Tue, 29 Sep 2026 20:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.711441
• Title: Beyond Layers: Position-Resolved Gradient Conflict and Position-Aware Modulation for Unified Multimodal Models
• Title（参考訳）: 層を超えて: 固定化マルチモーダルモデルに対する位置解決型グラディエント衝突と位置認識変調
• Abstract要約: 統一マルチモーダルモデル(UMM)は、共有パラメータに基づく画像理解と自己回帰画像生成を訓練する。 位置認識変調 (PAM) を提案し, 高コンフリクト位置のみに生成勾配の反整合成分を除去する。 PAMはレイヤの分離を$+21$ MMEと$+2.4$ GenEvalで改善し、POPEと全体的なFIDにマッチする。
• 参考スコア（独自算出の注目度）: 10.526335126836573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) train image understanding and autoregressive image generation on shared parameters, and the two objectives are known to interfere. Existing diagnoses and remedies operate at the resolution of layers or experts, measuring conflict per layer and resolving it by separating parameters. We argue that this resolution hides an orthogonal axis. Generation in a UMM is next-token prediction over a raster sequence of visual tokens whose roles vary systematically with position, so how strongly a generation gradient interferes with understanding should depend on where in the sequence it originates. We introduce a position-resolved interference map that attributes understanding-generation gradient conflict to visual-token positions within every layer, computed from a single backward pass at $1.2\times$ the cost of a standard backward pass. On Show-o and Janus-Pro, position explains a large share of conflict variance after controlling for depth (partial $η^2=0.31$ vs. $0.35$ for layer on Show-o; $0.15$ vs. $0.30$ on Janus-Pro): the first quarter of the sequence has a mean gradient cosine of $-0.18$ against understanding, the last quarter $-0.02$. The dependence survives per-position gradient-norm normalization, retaining $80%$ of its effect size, and conflict strength tracks semantic content (Spearman $ρ=0.64$). Building on the map, we propose position-aware modulation (PAM), which removes the anti-aligned component of generation gradients only at high-conflict positions without changing the architecture. Under a matched trainable-parameter budget, PAM improves over layer-wise separation by $+21$ MME and $+2.4$ GenEval points on Show-o while matching it on POPE and overall FID; a random-position control recovers about $31%$ of the gain. Position-based and layer-based separation are complementary degrees of freedom and can be combined.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、共有パラメータ上でのイメージ理解と自己回帰画像生成を訓練し、その2つの目的を妨害することが知られている。 既存の診断と治療は、レイヤや専門家の解決で動作し、レイヤごとのコンフリクトを測定し、パラメータを分離して解決する。 この分解は直交軸を隠していると我々は主張する。 UMMにおける生成は、位置と体系的に異なる視覚トークンのラスタ列に対する次のトーケン予測であるので、生成勾配がどの程度理解に干渉するかは、それが発するシーケンスのどこに依存するべきである。 本稿では,各層内の視覚的整合位置に対する理解次数勾配の競合を考慮し,単一の後方通過から計算した位置分解型干渉マップについて,標準後方通過のコストを1.2\timesに設定する。 Show-o と Janus-Pro において、位置は深度を制御した後の紛争分散のかなりの割合を説明する(Partial $η^2=0.31$ vs. $0.35$ for layer on Show-o; $0.15$ vs. $0.30$ on Janus-Pro)。 この依存は位置の勾配-ノルム正規化に留まり、効果の大きさの80%$を保持し、対立強度は意味的内容を追跡する(Spearman $ρ=0.64$)。 地図上に構築した位置認識変調(PAM)は,アーキテクチャを変更することなく,高コンフリクト位置のみにおいて生成勾配の反整合成分を除去する。 一致したトレーニング可能なパラメーターの予算の下で、PAMはレイヤーの分離を$+21$ MMEと$+2.4$ GenEvalポイントで改善し、POPEと全体的なFIDでマッチングする。 位置ベースと層ベースの分離は相補的な自由度であり、組み合わせることができる。

関連論文リスト

• Does the VGGT Family Need All Its Layers? [55.81487806596663]
  VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。 取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。 CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-09-29T06:52:07Z)
• Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification [0.8803840644459077]
  Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は深いアンサンブルの多様性と校正の多くを回復する。 OCを最終層アンサンブルと見なすと、検出器を2軸の分類に整理する。
  論文  参考訳（メタデータ） (2026-07-26T21:56:02Z)
• Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning [1.5282767384702272]
  ハミルトン・ヤコビ・ベルマン理論(英語版)は、最適のゴール条件の作用は、現在の状態におけるゴール条件距離の勾配によってのみゴールに依存することを示唆している。 Direction-Conditioned Policies (DCP) は,1つのInfoNCE表現を共有する2つのコンポーネントにゴール取得を分解する完全オンライン手法である。
  論文  参考訳（メタデータ） (2026-06-15T10:18:30Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Universal Spin Squeezing Dynamical Phase Transitions across Lattice Geometries, Dimensions, and Microscopic Couplings [0.0]
  ボゴリューボフ理論は、長い範囲の相互作用状態において、以前に特定されたスケーリング $a_Z* プロット L$ を d+2$ で回復する。 これは、短距離相互作用に対する未認識のサブ線形構造を明らかにする。 これらの知見は、Rydberg-array、極性分子、トラップイオンプラットフォームにおける絡み合いの発生を制御するための多用途経路を提供する。
  論文  参考訳（メタデータ） (2026-05-13T18:00:07Z)
• Collective Alignment in LLM Multi-Agent Systems: Disentangling Bias from Cooperation via Statistical Physics [0.0]
  そこで,本研究では,本態性バイアスから社会的整合性を解き,臨界指数を計算し,マルチエージェントシステムの集合的挙動と相転移を探索するモデルに依存しない統計的物理法を提案する。 集合的アライメントは、協調的な隣り合う結合よりも本質的なバイアスによって支配され、真の相転移の代わりに場駆動のクロスオーバーを生成する。
  論文  参考訳（メタデータ） (2026-05-11T13:13:44Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)
• Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap [84.66885506098724]
  本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。 AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。 また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
  論文  参考訳（メタデータ） (2021-02-09T07:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。