論文の概要: MixPT: Point Transformer with Interleaved Window and Global Attention

• arxiv url: http://arxiv.org/abs/2610.31455v1
• Date: Thu, 22 Oct 2026 15:49:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.430132
• Title: MixPT: Point Transformer with Interleaved Window and Global Attention
• Title（参考訳）: MixPT:インターリーブウィンドウとグローバルアテンションを備えたポイントトランス
• Abstract要約: ポイントクラウドトランスフォーマーは、管理可能な計算コストで、シーン全体の詳細なローカルな幾何学と関係をキャプチャすることを目的としている。 それらは、シーン間のトークン間の情報交換を指すシーンワイドインタラクションを実現する方法が異なる。 ウィンドウとグローバルアテンションブロックを混合した点変換器であるMixPTをインターリーブしたスケジュールで導入する。
• 参考スコア（独自算出の注目度）: 31.60684248456768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud transformers aim to capture detailed local geometry and relationships across a scene at a manageable computational cost. Two common approaches are window attention and global attention. They differ in how they enable scene-wide interaction, which refers to information exchange among tokens across a scene. Window attention reduces computational cost by restricting self-attention to groups of tokens called windows; in serialized designs, each window contains a fixed number of consecutive tokens from a spatially ordered sequence. Because each block only directly connects tokens within the same window, information exchange across windows relies on changes in window membership across blocks and hierarchical pooling. Global attention, in contrast, directly connects all tokens within a scene, but computing attention over all token pairs can be costly when the number of tokens is large. To balance computational cost and scene-wide interaction, we introduce MixPT, a point transformer that uses a mix of window and global attention blocks in an interleaved schedule, while retaining a single fixed serialization pattern for its window blocks. For scenes with a large number of tokens, MixPT applies global attention to spatially pooled tokens and returns residual updates to the original-resolution stream. Across indoor and outdoor benchmarks, MixPT achieves competitive accuracy with lower latency than representative window and global attention baselines. We further demonstrate the feasibility of scaling the attention stage in depth by repeating the interleaved pattern of window and global attention blocks.
• Abstract（参考訳）: ポイントクラウドトランスフォーマーは、管理可能な計算コストで、シーン全体の詳細なローカルな幾何学と関係をキャプチャすることを目的としている。 2つの一般的なアプローチは、ウィンドウアテンションとグローバルアテンションである。 それらは、シーン間のトークン間の情報交換を指すシーンワイドインタラクションを実現する方法が異なる。 ウィンドウアテンションは、ウィンドウと呼ばれるトークンのグループへの自己アテンションを制限することで計算コストを削減する。 各ブロックは同じウィンドウ内でトークンを直接接続するので、ウィンドウ間の情報交換はブロック間のウィンドウメンバシップの変化と階層的なプールに依存する。 対照的に、グローバルアテンションはシーン内のすべてのトークンを直接接続するが、トークンの数が大きい場合、すべてのトークンペアに対するコンピューティングアテンションはコストがかかる。 計算コストとシーンワイドインタラクションのバランスをとるために,ウィンドウブロックとグローバルアテンションブロックの混在を利用したポイントトランスフォーマーのMixPTを導入し,ウィンドウブロックの固定シリアライズパターンを1つ保持する。 多数のトークンを持つシーンでは、MixPTは空間的にプールされたトークンにグローバルな注意を払って、元の解像度ストリームに残余の更新を返す。 屋内および屋外のベンチマーク全体において、MixPTは、代表ウィンドウとグローバルアテンションベースラインよりも低いレイテンシで競合精度を達成する。 さらに,ウィンドウとグローバルアテンションブロックのインターリーブパターンを繰り返すことで,注目ステージを深くスケールすることが可能であることを示す。

関連論文リスト

• Backend-Agnostic Sparse Attention for Fast High-Resolution Visual Generation [49.257426699033495]
  拡散変換器 (DiT) は画像生成と映像生成において高い性能を達成しているが, フルアテンションの2次複雑さは高分解能な生成を計算コストで実現する。 我々は,視覚的品質と実用的な加速度の両世界の長所をもたらす,バックエンドに依存しないスパースアテンションであるBASAを提案する。
  論文  参考訳（メタデータ） (2026-10-06T17:55:24Z)
• Good Token Hunting: A Hitchhiker's Guide to Token Selection for Visual Geometry Transformers [58.582630781164305]
  視覚幾何学変換器は多視点3D再構成のための強力なアーキテクチャである。 それらの計算コストは、これらのモデル内のグローバルアテンション層によって入力シーケンスの長さが2倍に増加する。 各クエリがグローバルな注意を払って対話するキー/バリュートークンの数を制限するという、シンプルながら一般的な戦略でこの問題に対処する。 当社のアプローチは,既存のソリューションと比較して,速度精度のトレードオフが優れている。
  論文  参考訳（メタデータ） (2026-05-22T17:55:13Z)
• Looking Beyond the Window: Global-Local Aligned CLIP for Training-free Open-Vocabulary Semantic Segmentation [44.32289400317069]
  スライディングウインドウ推論戦略は、訓練のないオープン語彙セマンティックセマンティックセグメンテーション法で一般的に採用されている。 それぞれのウィンドウは独立して処理され、ウィンドウ間のセマンティックな相違が生じます。 GLA-CLIP(Global-Local Aligned CLIP)は,ウィンドウ間の包括的情報交換を容易にするフレームワークである。
  論文  参考訳（メタデータ） (2026-03-24T10:10:12Z)
• Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models [61.11154533305096]
  ビデオ大言語モデル(VLLM)は、強力なビデオ理解を示すが、冗長な視覚トークンによる非効率性に悩まされる。 フレーム内およびフレーム間コンテキスト内でトークン textbfAnchors を詳述する新しい視点を提案する。 提案するAOTは,先行するビデオLLMのショート・ビデオベンチマークとロング・ビデオベンチマークの競合性能を比較検討する。
  論文  参考訳（メタデータ） (2026-03-02T03:06:40Z)
• Local Representative Token Guided Merging for Text-to-Image Generation [26.585985828583304]
  ReToM(Local representative token guided merging)は、画像生成における任意の注意機構に適用可能な新しいトークンマージ戦略である。 実験の結果, ReToMはFIDとCLIPのスコアがベースラインに比べて6.2%向上していることがわかった。
  論文  参考訳（メタデータ） (2025-07-17T04:16:24Z)
• Window Token Concatenation for Efficient Visual Large Language Models [59.6094005814282]
  視覚的大言語モデル(VLLM)における視覚トークンを減らすために,ウィンドウトークン結合(WiCo)を提案する。 WiCoグループはさまざまなトークンをひとつに分類し、いくつかの細かい詳細を曖昧にします。 我々はLLaVA-1.5とShikraをベースとした粗くきめ細かな視覚的理解タスクについて広範囲に実験を行い、既存のトークン低減プロジェクタと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2025-04-05T02:32:58Z)
• WindowMixer: Intra-Window and Inter-Window Modeling for Time Series Forecasting [15.578933029560309]
  時系列予測は、経済予測、天気予報、交通流分析、公衆衛生監視といった分野において重要である。 従来の手法はポイントツーポイントの関係をモデル化し、複雑な時間パターンをキャプチャする能力を制限する。 全MLPフレームワーク上に構築された WindowMixer モデルを紹介する。
  論文  参考訳（メタデータ） (2024-06-14T08:09:39Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。