論文の概要: The Double Helix inside the NLP Transformer

• arxiv url: http://arxiv.org/abs/2306.13817v1
• Date: Fri, 23 Jun 2023 23:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 19:00:08.648476
• Title: The Double Helix inside the NLP Transformer
• Title（参考訳）: nlpトランスフォーマーの内部にある二重らせん
• Authors: Jason H.J. Lu, Qingzhen Guo
• Abstract要約: NLP変換器で様々な種類の情報を分析するためのフレームワークを提案する。 位置、統語、意味、文脈の4つの情報層を区別する。 分析の結果,深層部における位置情報の自律的分離が明らかになった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a framework for analyzing various types of information in an NLP Transformer. In this approach, we distinguish four layers of information: positional, syntactic, semantic, and contextual. We also argue that the common practice of adding positional information to semantic embedding is sub-optimal and propose instead a Linear-and-Add approach. Our analysis reveals an autogenetic separation of positional information through the deep layers. We show that the distilled positional components of the embedding vectors follow the path of a helix, both on the encoder side and on the decoder side. We additionally show that on the encoder side, the conceptual dimensions generate Part-of-Speech (PoS) clusters. On the decoder side, we show that a di-gram approach helps to reveal the PoS clusters of the next token. Our approach paves a way to elucidate the processing of information through the deep layers of an NLP Transformer.
• Abstract（参考訳）: NLP変換器で様々な種類の情報を分析するためのフレームワークを提案する。 このアプローチでは、位置、構文、意味、文脈という4つの情報の層を区別する。 また,セマンティクス埋め込みに位置情報を追加するという一般的な実践は,準最適であり,代わりに線形付加アプローチを提案する。 分析の結果,深層部における位置情報の自律的分離が明らかになった。 埋め込みベクトルの蒸留された位置成分は、エンコーダ側とデコーダ側の両方でヘリックスの経路に沿っていることを示す。 さらに,エンコーダ側では,概念次元がPoS(Part-of-Speech)クラスタを生成することを示す。 デコーダ側では、ダイグラムアプローチが次のトークンのPoSクラスタを明らかにするのに役立つことを示す。 提案手法は,NLP変換器の深い層を通して情報処理を解明する方法である。

関連論文リスト

• Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation [69.68831888599476]
  そこで我々は,バイレベル位置符号化と呼ばれる新しい位置符号化法を開発した。 倫理的分析は、この位置情報の絡み合いが学習をより効果的にすることを示している。 私たちのBiPEは、多種多様なテキストモダリティにおいて、幅広いタスクにわたって、より優れた長さの補間機能を持っています。
  論文  参考訳（メタデータ） (2024-01-29T18:59:07Z)
• CTRAN: CNN-Transformer-based Network for Natural Language Understanding [0.456877715768796]
  インテント検出とスロット充填のための新しいエンコーダデコーダCNN-TransformerアーキテクチャであるCTRANを提案する。 エンコーダでは、BERTといくつかの畳み込み層を使用し、ウィンドウ特徴系列を用いて出力を並べ替える。 スロット充足デコーダでは,出力タグと入力トークンを整列させた整列トランスフォーマーデコーダを導入する。
  論文  参考訳（メタデータ） (2023-03-19T08:57:39Z)
• Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
  Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。 IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。 提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:14Z)
• SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
  ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。 我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-26T17:00:23Z)
• EDTER: Edge Detection with Transformer [71.83960813880843]
  本研究では,新しいトランスを用いたエッジ検出器であるemphEdge Detection TransformER (EDTER)を提案し,透明でクリップなオブジェクト境界と有意義なエッジを抽出する。 EDTERは画像コンテキスト情報と詳細なローカルキューを同時に利用する。 BSDS500、NYUDv2、Multicueの実験は、最先端技術と比較してEDTERの優位性を実証している。
  論文  参考訳（メタデータ） (2022-03-16T11:55:55Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Transformer Meets DCFAM: A Novel Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images [6.171417925832851]
  Swin Transformerをバックボーンとして導入し、コンテキスト情報を完全に抽出します。 また、高密度接続特徴集合モジュール(DCFAM)と呼ばれる新しいデコーダを設計し、解像度を復元し、セグメンテーションマップを生成する。
  論文  参考訳（メタデータ） (2021-04-25T11:34:22Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• Attention-guided Chained Context Aggregation for Semantic Segmentation [13.555282589559885]
  本稿では,CAM(Chained Context Aggregation Module)と呼ばれる並列並列ハイブリッドパラダイムを提案する。 CAMは鎖に接続されたはしごのような情報の流れを通じて様々な空間スケールの特徴を得、それらを前融合と再融合という2段階のプロセスで融合する。 非対称デコーダを用いて予測マップの正確な空間的詳細を復元する階層型コンテキスト集約ネットワーク(CANet)を構築した。
  論文  参考訳（メタデータ） (2020-02-27T11:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。