論文の概要: CycleFormer : TSP Solver Based on Language Modeling

• arxiv url: http://arxiv.org/abs/2405.20042v1
• Date: Thu, 30 May 2024 13:23:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 14:18:37.749498
• Title: CycleFormer : TSP Solver Based on Language Modeling
• Title（参考訳）: CycleFormer : 言語モデリングに基づくTSPソルバー
• Authors: Jieun Yook, Junpyo Seo, Joon Huh, Han Joon Byun, Byung-ro Mooon,
• Abstract要約: 本稿では,CycleFormerと呼ばれるトラベリングセールスマン問題(TSP)に対するトランスフォーマーモデルを提案する。 限定的で静的な典型的な言語モデルのトークンセットとは異なり、TSPのトークンセット(ノード)は無制限で動的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a new transformer model for the Traveling Salesman Problem (TSP) called CycleFormer. We identified distinctive characteristics that need to be considered when applying a conventional transformer model to TSP and aimed to fully incorporate these elements into the TSP-specific transformer. Unlike the token sets in typical language models, which are limited and static, the token (node) set in TSP is unlimited and dynamic. To exploit this fact to the fullest, we equated the encoder output with the decoder linear layer and directly connected the context vector of the encoder to the decoder encoding. Additionally, we added a positional encoding to the encoder tokens that reflects the two-dimensional nature of TSP, and devised a circular positional encoding for the decoder tokens that considers the cyclic properties of a tour. By incorporating these ideas, CycleFormer outperforms state-of-the-art (SOTA) transformer models for TSP from TSP-50 to TSP-500. Notably, on TSP-500, the optimality gap was reduced by approximately 2.8 times, from 3.09% to 1.10%, compared to the existing SOTA. The code will be made available at https://github.com/Giventicket/CycleFormer.
• Abstract（参考訳）: 本稿では,CycleFormerと呼ばれるトラベリングセールスマン問題(TSP)に対するトランスフォーマーモデルを提案する。 従来の変圧器モデルをTSPに適用する際に考慮すべき特徴を特定し,これらの要素をTSP固有の変圧器に完全に組み込むことを目的とした。 限定的で静的な典型的な言語モデルのトークンセットとは異なり、TSPのトークンセット(ノード)は無制限で動的である。 この事実を最大限に活用するために、エンコーダ出力をデコーダ線形層と同一視し、エンコーダのコンテキストベクトルをデコーダ符号化に直接接続した。 さらに,TSPの2次元特性を反映したエンコーダトークンに位置符号化を加え,ツアーの循環特性を考慮したデコーダトークンの円形位置符号化を考案した。 これらのアイデアを取り入れることで、CycleFormer は TSP を TSP-50 から TSP-500 へ変換する SOTA (State-of-the-art) モデルより優れている。 特にTSP-500では、既存のSOTAと比較して、最適性ギャップが3.09%から1.10%に約2.8倍削減された。 コードはhttps://github.com/Giventicket/CycleFormer.comから入手できる。

関連論文リスト

• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 Mask2Formerはその計算の50%をトランスフォーマーエンコーダでのみ使用する。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。 本稿では,パフォーマンスの犠牲を最小限に抑えながら,計算量を大幅に削減するPro-SCALEを提案する。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• Less Is More - On the Importance of Sparsification for Transformers and Graph Neural Networks for TSP [8.317022421446639]
  本稿では,旅行セールスマン問題(TSP)の最も関連性の高い部分のみにエンコーダを集中させるデータ前処理手法を提案する。 本稿では,GNNの適切なスパーシフィケーションとアンサンブルによって,アーキテクチャ全体の性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-03-25T20:16:16Z)
• High-Performance Transformers for Table Structure Recognition Need Early Convolutions [25.04573593082671]
  既存のアプローチでは、ビジュアルエンコーダには古典的畳み込みニューラルネットワーク(CNN)、テキストデコーダにはトランスフォーマーが使用されている。 表現力を犠牲にすることなくテーブル構造認識(TSR)のための軽量ビジュアルエンコーダを設計する。 畳み込みステムは従来のCNNバックボーンのパフォーマンスとより単純なモデルで一致できることが判明した。
  論文  参考訳（メタデータ） (2023-11-09T18:20:52Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• Head-Free Lightweight Semantic Segmentation with Linear Transformer [21.38163906180886]
  本稿では,適応周波数変換器(Adaptive Frequency Transformer)というセマンティックセグメンテーションのためのヘッドフリー軽量アーキテクチャを提案する。 並列アーキテクチャを採用して、デコーダを置き換える特定の学習可能なローカル記述としてプロトタイプ表現を活用する。 デコーダの除去は計算の大部分を圧縮するが、並列構造の精度は依然として低い計算資源によって制限されている。
  論文  参考訳（メタデータ） (2023-01-11T18:59:46Z)
• DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
  トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。 詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。 トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
  論文  参考訳（メタデータ） (2022-03-01T15:36:38Z)
• TSTNN: Two-stage Transformer based Neural Network for Speech Enhancement in the Time Domain [13.619563427916951]
  提案モデルは,エンコーダ,2段変圧器モジュール(TSTM),マスキングモジュール,デコーダから構成される。 TSTMは、エンコーダ出力ステージからローカルおよびグローバル情報を効率よく抽出するために、4つの積み重ね2段変圧器ブロックを利用する。 デコーダは、拡張された音声を再構築するためにマスクエンコーダ機能を使用する。
  論文  参考訳（メタデータ） (2021-03-18T00:38:17Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)
• Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
  CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。 実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
  論文  参考訳（メタデータ） (2020-10-28T15:00:09Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。