論文の概要: Geometry Matters in Packed 3D Attention

• arxiv url: http://arxiv.org/abs/2610.38694v1
• Date: Wed, 28 Oct 2026 18:58:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.402498
• Title: Geometry Matters in Packed 3D Attention
• Title（参考訳）: パッケージ3次元注意における幾何学的問題
• Abstract要約: 我々は、メモリレイアウトとアテンション幾何学を分離したローカル・グローバルアテンション演算子であるPACK3Dを紹介する。 PACK3Dは、近所の注意を正確に保ち、離れたコンテキストのみを連続した3Dブロックサマリーに圧縮する。 融合したTritonの実装は、長期のコンテキストウインドウを供給できない間、65kトークンでウィンドウ付きアテンション遅延と一致している。
• 参考スコア（独自算出の注目度）: 4.772459828965274
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Packing a 3D volume into a token sequence is not merely long-sequence modeling. Once the volume is packed, sequence order no longer encodes the geometry of the sample---so a positional mechanism indexed by sequence position can learn the memory layout rather than the object. This is a general failure mode for attention over packed geometric data. We introduce PACK3D, a local-global attention operator that separates memory layout from attention geometry. PACK3D keeps local neighborhood attention exact, compresses only distant context into contiguous 3D block summaries, and indexes every query-key interaction with axial RoPE on true token-grid coordinates rather than packed positions. Because the rotation is applied before a block is summarized, the query-to-summary logit remains a weighted sum of query-relative 3D displacements; compressed global context therefore stays spatially interpretable after packing, instead of collapsing to anonymous pooled content. We measure the failure mode directly. On a controlled synthetic task---train on one packing, change only the memory order of the tokens, hold the physical labeling rule fixed---learned positional embeddings and packed-sequence RoPE solve the training layout perfectly yet collapse under Morton, block-contiguous, and random repacking, while axial grid-coordinate RoPE stays exact throughout. The same coordinate system carries to real data: on Allen WTC-11 hiPSC microscopy, PACK3D improves over a parameter-matched 3D U-Net on the 15-structure joint task and over a matched learned-position local-global baseline, with controls isolating the coordinate system, not encoder capacity, as the source of the gain. A fused Triton implementation matches windowed-attention latency at 65k tokens while supplying the long-range context windowing cannot---so the operator is not only correct but trainable at scale.
• Abstract（参考訳）: 3Dボリュームをトークンシーケンスに詰め込むことは、単なるロングシーケンスモデリングではない。 ボリュームが満杯になると、シーケンスオーダはサンプルのジオメトリをエンコードしなくなり、シーケンス位置によってインデックスされた位置決め機構は、オブジェクトではなくメモリレイアウトを学習する。 これは、蓄積された幾何学的データに対する注意の一般的な障害モードである。 我々は、メモリレイアウトとアテンション幾何学を分離したローカル・グローバルアテンション演算子であるPACK3Dを紹介する。 PACK3Dは局所的な近隣の注意を正確に保ち、遠隔コンテキストのみを連続した3Dブロックサマリーに圧縮し、充填された位置ではなく真のトークングリッド座標上の軸方向のRoPEとの全てのクエリキー相互作用をインデックスする。 ブロックが要約される前にローテーションが適用されるため、クエリ対サマリーロジットはクエリ相対的な3D変位の重み付けの和のままであり、圧縮されたグローバルコンテキストは匿名のプールされたコンテンツに衝突するのではなく、パッキング後に空間的に解釈可能である。 障害モードを直接測定します。 制御された合成タスク--1つのパッキングのトレーニングでは、トークンのメモリ順序だけを変更し、物理ラベリングルールを保持し、固定された位置埋め込みとパックシーケンスRoPEはトレーニングレイアウトを完全に解決するが、Morton、ブロック連続、ランダムリパックの下では完全に崩壊する。 同じ座標系が実際のデータを運ぶ: Allen WTC-11 hiPSC 顕微鏡では、PACK3D は 15-structure joint task 上のパラメータマッチングされた3D U-Net と一致した学習位置のローカル-グローバルベースラインを改良し、利得の源としてエンコーダ容量ではなく座標系を分離する。 融合したTritonの実装は、長い範囲のコンテキストウインドウを供給できないが、65kトークンのウィンドウドアテンション遅延と一致している。

関連論文リスト

• Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene Reconstruction [69.88254698306027]
  シングルイメージの3Dオブジェクト生成は、今や高忠実な資産を生成できるが、それらをコヒーレントなシーンレイアウトに正確に配置することは、未解決の課題である。 スパースポーズの回帰を高密度で有界な対応回復に置き換える構成的3次元シーン再構成フレームワークであるMira-Sceneを提案する。
  論文  参考訳（メタデータ） (2026-09-20T18:36:29Z)
• Gripper-Aware Automatic Dense Packing of Irregular Objects [9.373036737811207]
  本稿では,認識,グリップ認識による配置最適化,実マニピュレータ上での強制誘導実行を統合したクローズドループパイプラインを提案する。 本システムは,平面・湾曲・凹凸の3Dプリントを施したフランカ・エミカ・パンダのロボットで検証する。
  論文  参考訳（メタデータ） (2026-09-18T17:53:16Z)
• SimFuse3D: Source-Guided Target Simulation and Confidence-Guided Multi-Stage Localization Reweighting for Cross-Platform 3D Object Detection [14.526062661334437]
  センサ高さと視点の変化は、オブジェクトレベルの点分布を変化させ、クロスプラットフォームのLiDAR非教師なし領域適応を困難にする。 そこで,SimFuse3Dを導入し,ラベル付きソーススキャンから計測した幾何を用いて,対象の配置を保存し,関連する擬似オブジェクトを修復する。
  論文  参考訳（メタデータ） (2026-09-04T08:41:56Z)
• Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
  Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。 独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。 Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
  論文  参考訳（メタデータ） (2026-06-11T17:48:38Z)
• Fus3D: Decoding Consolidated 3D Geometry from Feed-forward Geometry Transformer Latents [10.400785196849647]
  本稿では,3秒未満で非構造化画像コレクションからの高密度符号距離場(SDF)回帰のフィードフォワード法を提案する。 我々の重要な洞察は、事前訓練された多視点フィードフォワード幾何変換器の中間的特徴空間が、既に強力なジョイントワールド表現を符号化していることである。 代わりに、学習された体積抽出を通して幾何学変換器の特徴から直接3次元抽出を行う。
  論文  参考訳（メタデータ） (2026-03-26T18:45:04Z)
• Point3R: Streaming 3D Reconstruction with Explicit Spatial Pointer Memory [72.75478398447396]
  我々は,高密度ストリーミング3D再構成を目的としたオンラインフレームワークであるPoint3Rを提案する。 具体的には、現在のシーンの3次元構造に直接関連した空間ポインタメモリを明示的に保持する。 本手法は,訓練コストの低い各種タスクにおいて,競争力や最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:56Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• Quaternion Equivariant Capsule Networks for 3D Point Clouds [58.566467950463306]
  本稿では,3次元回転と翻訳に同値な点雲を処理するための3次元カプセルモジュールを提案する。 カプセル間の動的ルーティングをよく知られたWeiszfeldアルゴリズムに接続する。 オペレーターに基づいて、ポーズから幾何学をアンタングルするカプセルネットワークを構築します。
  論文  参考訳（メタデータ） (2019-12-27T13:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。