論文の概要: Refinement Symmetry in Multimodal Transformers

• arxiv url: http://arxiv.org/abs/2609.32669v1
• Date: Sat, 26 Sep 2026 14:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:28:02.368559
• Title: Refinement Symmetry in Multimodal Transformers
• Title（参考訳）: 多モード変圧器の微細化対称性
• Abstract要約: 内容,位置,可視的文脈,総質量を保存しながら表現を分割することは,その寄与を保存すべきである。 分割不変性により局所質量因子が任意の固定された正の注意核に対して線形となることを示し、その因子が非減少であることを示す。
• 参考スコア（独自算出の注目度）: 6.02574242789382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention weights depend on token counts, which change with the representation of a signal. We study refinement symmetry: splitting a representation while preserving content, position, visible context, and total mass should preserve its contribution. Building on proportional and quadrature attention, we show that split invariance forces the local mass factor to be linear for any fixed positive attention kernel, provided that factor is nondecreasing. For changed representations, a physical coupling bounds attention error by separating feature change from weight reallocation. In Qwen2.5-Omni-7B, duplicating half the visual tokens threefold changes 255 of 3,586 MVBench answers under standard attention; measure weighting preserves every answer under matched visibility. Under natural frame resampling, it reduces distributional drift. At twofold merging of a frozen video encoding, a five-seed evaluation shows an all-partition-correct accuracy gain of 1.04 percentage points over global count weighting (average group mass) and 0.93 points over standard attention. The advantage over global count also holds on WorldSense but depends on the compression budget. The result is a representation principle with a measured benefit in robustness across partitions.
• Abstract（参考訳）: 注意重みは信号の表現によって変化するトークン数に依存する。 内容,位置,可視的文脈,総質量を保存しながら表現を分割することは,その寄与を保存すべきである。 比例的および二次的な注意に基づいて、分割不変性は局所的な質量因子を任意の固定された正の注意核に対して線形にすることを示し、その因子が非減少であることを示す。 変化表現の場合、物理結合は重み付け位置から特徴変化を分離することで注意誤差を束縛する。 Qwen2.5-Omni-7Bでは、標準的な注意の下で3,586 MVBenchの回答の255倍の視覚トークンの半分を複製する。 自然なフレーム再サンプリングでは、分布のドリフトが減少する。 凍結ビデオ符号化の2倍のマージでは、全分割補正精度が、グローバルカウント重み付け(平均グループ質量)で1.04ポイント、標準注意で0.93ポイント向上した。 グローバルカウントに対する優位性はWorldSenseにも当てはまるが、圧縮予算に依存している。 その結果は、パーティション間のロバスト性の測定上の利点を持つ表現原理である。

関連論文リスト

• ScalarLens: Numerical Embeddings with Stable Coordinates and Contextual Responses for CTR Prediction [9.015098165449276]
  ScalarLensを紹介します。これは数値埋め込みで、どのように解釈されるべきかを適用しながら、値が何かを保存するものです。 19の表現、3つのデータセット、9つのバックボーン、3つのシードを含む1,539回の一次評価において、ScalarLensは、オリジナルの数値スケールで27のセットのうち25にランクインしている。
  論文  参考訳（メタデータ） (2026-09-24T07:54:15Z)
• Sample-Weighted End-to-End Trace-Norm Geometry for Multitask Learning [0.0]
  タスク係数から入力空間予測器へのエンド・ツー・エンドマップのサンプルサイズ重み付きトレースノルムについて検討する。 明示的な構成は、線形層をキャンセルするための配向と分解のギャップと指数的な深さのギャップを示す。
  論文  参考訳（メタデータ） (2026-08-25T04:35:24Z)
• SFMformer: A Spatial-Frequency Modulation Transformer for Lightweight Image Super-Resolution [0.3262230127283452]
  本稿では,このようなネットワークを改善することの意味が,スパーシフィケーションによって変化することを観察する。 濃密な注意層には、表現品質が重要となる1つの場所がある。 本研究では,2分岐空間拡張をウェーブレット領域の変調とプログレッシブフォーカスアテンションの入力にペアリングし,SFMフォーマを形成する。
  論文  参考訳（メタデータ） (2026-08-18T16:20:07Z)
• Fugacity-Resolved Stabilizer Entropy in Critical Quantum Chains: Discrete Selberg Sums and Exactly Solvable Rényi Indices [0.0]
  臨界横フィールドイジング連鎖に対するフーガシティ分解分割関数を導入する。 フーガシティ分解された全小数和を任意の正のレニイ指数に対して、チェッカーボード重み付き離散セルバーグアンサンブルにマッピングする。
  論文  参考訳（メタデータ） (2026-08-07T09:12:41Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Focus What Matters: Matchability-Based Reweighting for Local Feature Matching [6.361840891399624]
  本稿では,学習可能なバイアス項をアテンションロジットに同時に組み込む新しいアテンション再重み付け機構を提案する。 3つのベンチマークデータセットを用いて実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-05-04T15:50:28Z)
• Distribution of Classification Margins: Are All Data Equal? [61.16681488656473]
  我々は理論的に動機付け、トレーニングセット上のマージン分布の曲線の下の領域が実際は一般化のよい尺度であることを実証的に示す。 結果として生じる"高いキャパシティ"機能のサブセットは、異なるトレーニング実行間で一貫性がない。
  論文  参考訳（メタデータ） (2021-07-21T16:41:57Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)
• Distribution Matching for Crowd Counting [51.90971145453012]
  アノテーションにガウスを付与することは一般化性能を損なうことを示す。 我々は,群集CoUNTing (DM-Count) における分布マッチングの利用を提案する。 平均絶対誤差(Mean Absolute Error)の観点では、DM-Countは従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-28T04:57:23Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。