Fugu-MT 論文翻訳(概要): Relative Position Prediction as Pre-training for Text Encoders

論文の概要: Relative Position Prediction as Pre-training for Text Encoders

arxiv url: http://arxiv.org/abs/2202.01145v1
Date: Wed, 2 Feb 2022 17:13:31 GMT
ステータス: 処理完了
システム内更新日: 2022-02-03 15:36:29.366638
Title: Relative Position Prediction as Pre-training for Text Encoders
Title（参考訳）: テキストエンコーダの事前学習における相対位置予測
Authors: Rickard Br\"uel-Gabrielsson, Chris Scarvelis
Abstract要約: 位置中心の視点はより一般的で有用であると主張する。我々は、NLPにおける相対的位置符号化パラダイムを適用し、自己教師付き学習のための相対的ラベルを作成する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Meaning is defined by the company it keeps. However, company is two-fold: It's based on the identity of tokens and also on their position (topology). We argue that a position-centric perspective is more general and useful. The classic MLM and CLM objectives in NLP are easily phrased as position predictions over the whole vocabulary. Adapting the relative position encoding paradigm in NLP to create relative labels for self-supervised learning, we seek to show superior pre-training judged by performance on downstream tasks.
Abstract（参考訳）: 意味は企業によって定義されます。トークンのアイデンティティと,その位置(トポロジ)に基づいています。位置中心の視点はより一般的で有用であると主張する。 NLP の古典的 MLM と CLM の目的は、語彙全体の位置予測として容易に表現される。 NLPにおける相対的位置符号化のパラダイムに適応して、下流タスクのパフォーマンスによって判断される優れた事前学習を示す。

関連論文リスト

Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文参考訳（メタデータ） (2024-07-01T09:06:57Z)
Attention Instruction: Amplifying Attention in the Middle via Prompting [35.07098912195063]
言語モデルはいまだ位置バイアスに悩まされており、コンテキストの中央へのアクセスと使用が困難である。本研究では,LSMの相対的位置認識と,プロンプトによる不均等注意の軽減の可能性について検討した。
論文参考訳（メタデータ） (2024-06-24T19:35:11Z)
Contextual Position Encoding: Learning to Count What's Important [42.038277620194]
我々は,新しい位置符号化手法であるコンテキスト位置フロップ(CoPE)を提案する。 CoPEは、モデルによって決定された特定のトークンに位置を増すことによって、状況に応じて位置を条件付けることができる。一般的な位置埋め込みが失敗するFlip-Flopタスクにおいて,CoPEが選択的コピー,カウント,Flip-Flopタスクを解くことができることを示す。
論文参考訳（メタデータ） (2024-05-29T02:57:15Z)
Tsetlin Machine Embedding: Representing Words Using Logical Expressions [10.825099126920028]
本稿では,論理節を自己教師する自動エンコーダについて紹介する。節は、"black"、"cup"、"hot"のような文脈的な単語からなり、"coffee"のような他の単語を定義する。我々は,GLoVeを6つの分類タスクで上回り,いくつかの内在的および外在的ベンチマークに対する埋め込み手法の評価を行った。
論文参考訳（メタデータ） (2023-01-02T15:02:45Z)
Location-Aware Self-Supervised Transformers [74.76585889813207]
画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
論文参考訳（メタデータ） (2022-12-05T16:24:29Z)
The Curious Case of Absolute Position Embeddings [65.13827063579728]
トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
論文参考訳（メタデータ） (2022-10-23T00:00:04Z)
An Empirical Study on Leveraging Position Embeddings for Target-oriented Opinion Words Extraction [13.765146062545048]
ToWE(Target-oriented opinion words extract)は、ターゲット指向の感情分析の新しいサブタスクである。本稿では,BiLSTMに基づくモデルを用いて,位置情報を単語表現に効果的にエンコードできることを示す。また,構文情報を組み込んだグラフ畳み込みネットワーク(GCN)を用いて,単語表現の強化を行う。
論文参考訳（メタデータ） (2021-09-02T22:49:45Z)
R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。最初にBERTを使用して、グローバルな視点から入力文をエンコードします。次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
論文参考訳（メタデータ） (2020-12-16T13:11:30Z)
Adversarial Transfer Learning for Punctuation Restoration [58.2201356693101]
句読点予測のためのタスク不変知識を学習するために,逆多タスク学習を導入する。 IWSLT2011データセットを用いて実験を行った。
論文参考訳（メタデータ） (2020-04-01T06:19:56Z)
Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence [94.79912471702782]
セメムは人間の言語の最小の意味単位として定義されており、多くのNLPタスクで有用であることが証明されている。本稿では,このようなマッチングを捕捉し,セメムを予測できるセメム対応プールモデルを提案する。我々は,有名なSememe KB HowNetのモデルとベースライン手法を評価し,そのモデルが最先端のパフォーマンスを実現することを発見した。
論文参考訳（メタデータ） (2020-01-16T17:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。