論文の概要: Communicability-Inspired Positional Encoding (CIPE)

• arxiv url: http://arxiv.org/abs/2606.25293v1
• Date: Wed, 24 Jun 2026 01:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.18577
• Title: Communicability-Inspired Positional Encoding (CIPE)
• Title（参考訳）: 通信性を考慮した位置符号化(CIPE)
• Abstract要約: Communicability-Inspired Positional size (CIPE) は、注意に相応しいグラフ位置エンコーディングのための原則的なフレームワークである。 CIPEは7つのベンチマークで平均35.5%、構造に依存しないトランスフォーマーを改善している。 また、競合するPEが限界的な利益しか得られない構造バイアスグラフ変換器を一貫して改善する。
• 参考スコア（独自算出の注目度）: 17.120735986111217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Positional encodings (PEs) are essential for Transformers. Yet designing effective PEs for non-Euclidean graphs remains challenging. Such encodings should ideally induce an Attention-Compatible Geometry for self-attention: not merely describing graph structure, but defining a geometry whose inner products reflect meaningful structural relatedness. To realize this geometry, we propose Communicability-Inspired Positional Encoding (CIPE), built from communicability, a measure between pairs of nodes that aggregates contributions from paths of all lengths. By construction, CIPE inner products recover communicability, converting global multi-path connectivity into an attention-ready similarity geometry. For practical Transformer training, we introduce dimensionality alignment, mapping graph-size-dependent CIPE representations to prescribed dimensions while faithfully preserving the induced geometry. Empirically, CIPE improves structure-agnostic Transformers by 35.5% on average across seven benchmarks, outperforming representative PEs; it also consistently improves structure-biased graph Transformers, where competing PEs often yield only marginal benefits. These results position CIPE as a principled framework for attention-compatible graph positional encodings.
• Abstract（参考訳）: トランスフォーマーには、位置エンコーディング(PE)が不可欠である。 しかし、非ユークリッドグラフに対する効果的なPEの設計は依然として困難である。 このようなエンコーディングは、グラフ構造を記述するだけでなく、内部積が意味のある構造的関連性を反映する幾何学を定義するという、自己アテンションのためのアテンション-コンパティブル幾何学を理想的に導き出すべきである。 この幾何学を実現するために,すべての長さの経路からコントリビューションを集約するノードのペア間での通信可能性から構築されたCIPE(Communicability-Inspired Positional Encoding)を提案する。 建設によってCIPE内部の製品は通信性を取り戻し、グローバルなマルチパス接続を注目に値する類似性幾何に変換する。 実践的なトランスフォーマートレーニングでは,次元アライメント,グラフサイズに依存したCIPE表現を所定の次元にマッピングし,誘導幾何を忠実に保存する。 実証的に、CIPEは7つのベンチマークで平均35.5%改善し、代表PEを上回っている。 これらの結果は、CIPEを注意対応グラフ位置符号化の原則的フレームワークとして位置づける。

関連論文リスト

• Weierstrass Positional Encoding for Vision Transformers [13.639230128765988]
  視覚変換器はコンピュータビジョンにおいて顕著な成功を収めてきたが、一次元位置符号化の共通利用は、パッチフラット化後の画像の2次元構造を弱める。 Weierstrass elliptic Positional geometry Compute (WePE)を提案する。 WePEはプラグアンドプレイであり、解像度に依存しないため、既存のViTとシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-05-20T13:35:17Z)
• Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
  本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。 モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
  論文  参考訳（メタデータ） (2026-05-16T12:01:04Z)
• Rethinking Positional Encoding for Neural Vehicle Routing [29.116133441162173]
  ルーティング対応PEが尊重すべき3つの構造特性を定式化する。 距離インデックス付き,円弧的に整合したインルート符号化とデポ型アンコール角方向のクロスルート符号化を組み合わせた階層型異方性計測PEを提案する。
  論文  参考訳（メタデータ） (2026-05-12T10:22:31Z)
• LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting [77.81227097905865]
  アンカーベースの3DGS圧縮スキームは、いくつかの高度な文脈モデルを通してガウスの冗長性を減少させる。 本稿では, アンカープルーニングとエントロピー符号化にアンカー幾何学的相関を組み込んだ3DGSのための局所幾何学的階層型コンテキスト圧縮フレームワークを提案する。 実験の結果、LG-HCCは構造保存の問題を効果的に緩和し、Mip-NeRF360データセット上のScaffold-GSベースラインと比較して最大30.85倍のストレージを削減した。
  論文  参考訳（メタデータ） (2026-03-30T13:39:35Z)
• GeoReFormer: Geometry-Aware Refinement for Lane Segment Detection and Topology Reasoning [0.7769712273444055]
  GeoReFormerは、幾何学とトポロジを意識した帰納バイアスをトランスフォーマーデコーダに直接埋め込むクエリベースのアーキテクチャである。 GeoReFormerは、OpenLane-V2ベンチマークで34.5%のmAPで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2026-03-27T02:26:12Z)
• Tab-PET: Graph-Based Positional Encodings for Tabular Transformers [10.312868216225118]
  本稿では,位置エンコーディングを埋め込みに推定し,解析するためのグラフベースのフレームワークを提案する。 グラフトポロジからPEを導出するアプローチにインスパイアされた我々は、グラフ推定のパラダイムとして、アソシエーションベースと因果関係ベースという2つを探求する。 グラフ由来のPEは,50の分類データセットと3Tの回帰データセットにまたがる性能を著しく向上させることを実証的に実証した。
  論文  参考訳（メタデータ） (2025-11-17T13:08:34Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Geometry-Editable and Appearance-Preserving Object Compositon [67.98806888489385]
  汎用オブジェクト合成(GOC)は、対象オブジェクトを望まれる幾何学的性質を持つ背景シーンにシームレスに統合することを目的としている。 近年のアプローチは意味的埋め込みを導出し、それらを高度な拡散モデルに統合し、幾何学的に編集可能な生成を可能にする。 本稿では,まずセマンティックな埋め込みを活用して,所望の幾何学的変換を暗黙的にキャプチャするDistangled Geometry-editable and Outearance-Preserving Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:05:28Z)
• Toward Relative Positional Encoding in Spiking Transformers [76.72869420863749]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかを模倣するバイオインスパイアネットワークである。 スパイクのバイナリ特性を保ちながら、スパイク変換器における相対的な位置エンコーディングを近似する戦略をいくつか導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• 3D Geometric Shape Assembly via Efficient Point Cloud Matching [59.241448711254485]
  Proxy Match Transform (PMT) は、部品の配向面間の信頼性の高いマッチングを可能にする、高次特徴変換層である。 PMT を基盤として,幾何学的組立作業のための新しいフレームワーク Proxy Match TransformeR (PMTR) を導入する。 我々は,Breaking Badの大規模3次元幾何形状集合ベンチマークデータセットを用いてPMTRの評価を行った。
  論文  参考訳（メタデータ） (2024-07-15T08:50:02Z)
• GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers [63.41460219156508]
  既存の位置符号化方式は3次元視覚タスクに最適であると主張する。 トークンの幾何学的構造を相対変換として符号化する幾何学的注意機構を提案する。 我々は、Geometric Transform Attention (GTA) と呼ばれる、最先端のトランスフォーマーベースNVSモデルの学習効率と性能を向上させることに留意している。
  論文  参考訳（メタデータ） (2023-10-16T13:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。