論文の概要: Where a New Concept Must Enter: Entry Point Gates Cross-Task Usability in Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2608.17564v1
• Date: Tue, 18 Aug 2026 09:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.290988
• Title: Where a New Concept Must Enter: Entry Point Gates Cross-Task Usability in Unified Multimodal Models
• Title（参考訳）: 新たな概念が参入しなければならない場所:統一マルチモーダルモデルにおけるクロスタスクユーザビリティの試行
• Abstract要約: 統一マルチモーダルモデル(UMM)は、理解と生成が互いに強化されるという希望によって動機付けられている。 建設によるUMMにおける2方向の関係について検討する。 どちらの方向でもチャネルが本物であることは分かるが、方向は様々である。
• 参考スコア（独自算出の注目度）: 29.95046057406594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models (UMMs) are motivated by the hope that understanding and generation reinforce each other but controlled ablations repeatedly find that adding a generation objective leaves understanding flat. Joint-training studies cannot settle the disagreement: with overlapping supervision, a gain cannot be attributed to the architecture rather than the data. To further investigate the relationship between the two directions in UMMs, we separate them by construction. A novel visual entity, a rendered 3D asset paired with a pseudo-word screened for absence from the frozen model's behavior, is bound through exactly one task direction, and the untrained direction is then measured. We find that the channel is real in both directions, but the directions differ in kind: generation training installs a name the model can only match among candidates; understanding training installs one it can also produce. What governs cross-task usability is where the binding enters the shared computation. An alignment probe predicts export across 36 configurations (Spearman $ρ= +0.68$). That objective's alignment term, maximized in closed form over activations with every weight frozen, makes a concept drawable when injected at layer 7 of 28 and is indistinguishable from the base model from layer 14 on, while the weight-based version of the same edit peaks at layers 10-14. In an observational series of four models, this window appears only where the understanding pathway is a semantic vision encoder, suggesting that unified weights are not enough: the two directions must share a semantic format at the entry point. Exploiting the rule, a mid-stack alignment objective acquires the concept for a $0.1\%$ relative loss of the model's general text-to-image ability, against $41\%$ for the standard generative route. Our code is at https://github.com/Zane-ZYQiu/entry-point-umm.
• Abstract（参考訳）: 統一マルチモーダルモデル (UMM) は、理解と生成が相互に強化されることを期待して動機づけられるが、制御された改善は、生成対象を追加するとフラットな理解が残ることを繰り返し見出す。 重複した監督の下では、利得はデータよりもアーキテクチャに帰属することができない。 UMMにおける2つの方向の関係をさらに調査するため、構築によってそれらを分離する。 凍結モデルの振舞いを欠くように遮蔽された擬似語と組み合わせられたレンダリングされた3Dアセットである新しい視覚実体を、正確に1つのタスク方向を介して結束し、未学習の方向を測定する。 生成トレーニングでは、モデルが候補にマッチできる名前のみをインストールし、トレーニングのインストールも生成できる。 クロスタスクのユーザビリティを管理するのは、バインディングが共有計算に入る場所である。 アライメントプローブは36の構成でエクスポートを予測する(Spearman $ρ= +0.68$)。 この目標のアライメント項は、各重量凍結された活性化よりも閉じた形で最大化され、28層7に注入されると、概念を描画可能とし、14層オンからベースモデルと区別不能であり、同じ編集の重量ベース版が10〜14層でピークとなる。 4つのモデルの観察シリーズにおいて、このウィンドウは理解経路がセマンティック・ビジョン・エンコーダである場合にのみ現れ、統一重みだけでは十分ではないことを示唆している。 中間スタックアライメントの目的は、標準生成経路の411\%に対して、モデルの一般的なテキスト・ツー・イメージ能力の相対的損失が0.1\%であるという概念を取得する。 私たちのコードはhttps://github.com/Zane-ZYQiu/entry-point-ummにあります。

関連論文リスト

• Geometry Without Coordinates: LiDAR Diffusion as a 3D Feature Bridge [0.0]
  既成2次元基礎モデルから擬似ラベルを訓練したLiDAR条件拡散モデルを提案する。 モデルはLiDARで条件付けされているため、出力と中間のUNet機能はインプットポイントクラウドに投影することができる。 我々は,この表現を,生空間座標を明示的に除いた点-雲空間で直接研究する。
  論文  参考訳（メタデータ） (2026-09-09T15:26:35Z)
• Model Merging: Foundations and Algorithms [4.528573838858818]
  この論文はモデルマージを研究し、独立に訓練されたニューラルネットワークを直接重み空間で組み合わせる。 C$2$M$3$は、Frank-Wolfe最適化に基づくサイクル一貫性のマージアルゴリズムである。 マルチタスク設定では、まずタスクベクトルを近似勾配として理論的に記述する。 次に,TSV幾何を用いた入力適応型ルーティング手法であるMASSを提案し,推定時にタスク関連部分空間を選択する。
  論文  参考訳（メタデータ） (2026-05-02T19:06:35Z)
• Architecture Decoupling Is Not All You Need For Unified Multimodal Model [64.19284951218098]
  本稿では,トレーニング中のタスク-特定マルチモーダルインタラクションパターンを明示的に学習する,意図的インタラクションアライメント(AIA)の損失を提案する。 AIAは、横断的な注意パターンを洗練するだけでなく、生成と理解の両方のパフォーマンスも向上させる。
  論文  参考訳（メタデータ） (2025-11-27T17:55:25Z)
• PMA: Towards Parameter-Efficient Point Cloud Understanding via Point Mamba Adapter [54.33433051500349]
  本稿では,事前学習モデルのすべての層から順序付き特徴系列を構成するPMAを提案する。 また、異なる層にまたがって共有される幾何学制約ゲートプロンプトジェネレータ(G2PG)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:27:16Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Unpaired Referring Expression Grounding via Bidirectional Cross-Modal Matching [53.27673119360868]
  表現基盤の参照はコンピュータビジョンにおいて重要かつ困難な課題である。 本稿では,これらの課題に対処する新しい双方向クロスモーダルマッチング(BiCM)フレームワークを提案する。 私たちのフレームワークは、2つの一般的なグラウンドデータセットで、以前の作業の6.55%と9.94%を上回っています。
  論文  参考訳（メタデータ） (2022-01-18T01:13:19Z)
• NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One Go [109.88509362837475]
  入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。 NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。 異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-06-17T12:25:44Z)
• Revisiting Model Stitching to Compare Neural Representations [8.331711958610347]
  我々は、$A$のボトム層と$B$のトップ層とを、それらの間に単純なトレーニング可能な層で接続することによって形成される「スティッチドモデル」を考える。 同じアーキテクチャの優れたネットワークは、非常に異なる方法で訓練されているが、性能を低下させることなく互いに縫合できることが示されています。 また,(1) 以上のデータ,(2) より大きな幅,(3) 以上のトレーニング時間で学習した表現が,より弱いモデルに"プラグイン"して性能を向上させることができることを示すことによって,「もっとよい」という直感の証拠を与える。
  論文  参考訳（メタデータ） (2021-06-14T18:05:10Z)
• Do Generative Models Know Disentanglement? Contrastive Learning is All You Need [59.033559925639075]
  本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。 DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
  論文  参考訳（メタデータ） (2021-02-21T08:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。