論文の概要: Enhancing Transformer-based Routing by Encoding Distance via Relative Positional Encoding
- arxiv url: http://arxiv.org/abs/2607.18909v1
- Date: Tue, 21 Jul 2026 09:51:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.386557
- Title: Enhancing Transformer-based Routing by Encoding Distance via Relative Positional Encoding
- Title(参考訳): 相対的位置符号化による距離符号化によるトランスフォーマーベースルーティングの強化
- Abstract要約: 相対位置エンコーダ(Relative Positional Encoder, RPE)は、チーム指向の問題を解決するためのトランスフォーマーアーキテクチャの付加バイアスである。
本稿では、チームオリエンテーリング問題を解決するためにトランスフォーマーアーキテクチャの付加バイアスとして相対的位置エンコーダ(RPE)について検討する。
- 参考スコア(独自算出の注目度): 40.74618635552097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores Relative Positional Encoding (RPE) as an additive bias in Transformer architectures to solve the Team Orienteering Problem. By embedding in the attention mechanism pairwise spatial relationships among nodes of the graph that represents the routing problem, the transformer encoder can compute a richer spatial-aware graph embedding that allows the decoder to estimate better routes. Experimental results involving instances up to 100 nodes demonstrate consistent improvements in collected rewards and optimality gaps over vanilla Transformer architectures used by other state-of-the-art works. These findings highlight that explicit relational modeling significantly enhances scalability and generalization for complex combinatorial optimization.
- Abstract(参考訳): 本稿では、チームオリエンテーリング問題を解決するために、トランスフォーマーアーキテクチャの付加バイアスとして相対的位置エンコーディング(RPE)について検討する。
ルーティング問題を表すグラフノード間のアテンション機構にペアワイズな空間関係を埋め込むことで、トランスフォーマーエンコーダはよりリッチな空間認識グラフ埋め込みを計算し、デコーダはより良い経路を推定することができる。
100ノードまでのインスタンスを含む実験結果からは、収集された報酬と、他の最先端の作業で使用されているバニラトランスフォーマーアーキテクチャに対する最適性ギャップが一貫した改善を示している。
これらの結果は、明示的リレーショナルモデリングが複雑な組合せ最適化のスケーラビリティと一般化を著しく向上させることを示している。
関連論文リスト
- Plain Transformers are Surprisingly Powerful Link Predictors [57.01966734467712]
リンク予測はグラフ機械学習における中核的な課題であり、リッチで複雑なトポロジ的依存関係をキャプチャするモデルを必要とする。
グラフニューラルネットワーク(GNN)が標準的なソリューションであるのに対して、最先端のパイプラインは明示的な構造やメモリ集約的なノードの埋め込みに依存していることが多い。
本報告では,手作りのプリミティブに置き換えるエンコーダのみのプレーントランスであるPENCILについて,サンプリングしたローカルサブグラフに注目する。
論文 参考訳(メタデータ) (2026-02-02T02:45:52Z) - EFormer: An Effective Edge-based Transformer for Vehicle Routing Problems [25.234292937274212]
エッジをVRPの唯一の入力として使用するエッジベースのトランスフォーマーモデルであるEFormerを紹介する。
提案手法では,エッジ情報を一時ノード埋め込みに変換するために,混合スコアアテンション機構を備えたプリコーダモジュールを用いる。
EFormerは、合成データセットに基づいて確立されたベースラインを上回ります。
論文 参考訳(メタデータ) (2025-06-19T16:07:11Z) - GITO: Graph-Informed Transformer Operator for Learning Complex Partial Differential Equations [0.0]
複素偏微分方程式系を学習するための新しいグラフインフォームド・トランスフォーマ演算子(GITO)アーキテクチャを提案する。
GITOは、HGT(Hybrid graph transformer)とTNO(Transformer Neural operator)の2つの主要モジュールから構成される。
ベンチマークPDEタスクの実験的結果は、GITOが既存のトランスフォーマーベースのニューラル演算子より優れていることを示している。
論文 参考訳(メタデータ) (2025-06-16T18:35:45Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳(メタデータ) (2023-02-27T18:18:13Z) - Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。
我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。
提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
論文 参考訳(メタデータ) (2022-03-15T06:52:25Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Learning to Iteratively Solve Routing Problems with Dual-Aspect
Collaborative Transformer [14.680514752270375]
本稿では、ノードの埋め込みと位置特徴を別々に学習するDACT(Dual-Aspect Collaborative Transformer)を提案する。
位置特徴は、トランスフォーマーがVRP溶液の円度と対称性を効果的に捉えられるように、新しいサイクリック位置符号化(CPE)法によって埋め込まれている。
論文 参考訳(メタデータ) (2021-10-06T07:21:41Z) - On the Encoder-Decoder Incompatibility in Variational Text Modeling and
Beyond [82.18770740564642]
変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。
我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。
同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
論文 参考訳(メタデータ) (2020-04-20T10:34:10Z) - Relation Transformer Network [25.141472361426818]
本稿では,シーングラフ生成と関係予測のためのトランスフォーメーションを提案する。
我々はトランスのエンコーダ・デコーダアーキテクチャを利用して,ノードとエッジのリッチな機能埋め込みを行う。
我々の関係予測モジュールは学習ノードとエッジ埋め込みから有向関係を分類する。
論文 参考訳(メタデータ) (2020-04-13T20:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。