論文の概要: NoPPA: Non-Parametric Pairwise Attention Random Walk Model for Sentence Representation

• arxiv url: http://arxiv.org/abs/2302.12903v1
• Date: Fri, 24 Feb 2023 21:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 20:01:21.380938
• Title: NoPPA: Non-Parametric Pairwise Attention Random Walk Model for Sentence Representation
• Title（参考訳）: NoPPA: 文表現のための非パラメトリックペアワイズ注意ランダムウォークモデル
• Authors: Xuansheng Wu, Zhiyi Zhao, Ninghao Liu
• Abstract要約: NoPPA(Non-Parametric Pairwise Attention Random Walk Model)は、事前学習した単語の埋め込みと単語の頻度を組み込んだ文の埋め込みを生成する。 NoPPAは、各データセットにおけるあらゆる種類のbacker-of-wordsベースのメソッドより優れています。 ビジュアライゼーションは、NoPPAがコンテキストトピック、一般的なフレーズ、単語因果関係を理解することができる。
• 参考スコア（独自算出の注目度）: 16.559066500903597
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a novel non-parametric/un-trainable language model, named Non-Parametric Pairwise Attention Random Walk Model (NoPPA), to generate sentence embedding only with pre-trained word embedding and pre-counted word frequency. To the best we know, this study is the first successful attempt to break the constraint on bag-of-words assumption with a non-parametric attention mechanism. We evaluate our method on eight different downstream classification tasks. The experiment results show that NoPPA outperforms all kinds of bag-of-words-based methods in each dataset and provides a comparable or better performance than the state-of-the-art non-parametric methods on average. Furthermore, visualization supports that NoPPA can understand contextual topics, common phrases, and word causalities. Our model is available at https://github.com/JacksonWuxs/NoPPA.
• Abstract（参考訳）: 非パラメトリックペアワイド注意ランダムウォークモデル(Non-Parametric Pairwise Attention Random Walk Model, NoPPA)と呼ばれる新しい非パラメトリック/非トレーニング可能な言語モデルを提案する。 我々の知る限りでは、この研究はノンパラメトリックな注意機構で単語の袋の仮定の制約を破ろうとする最初の試みである。 本手法は,8つの下流分類タスクについて評価する。 実験の結果,NoPPAは各データセットにおいて,あらゆる種類の単語ベースの手法より優れており,最先端の非パラメトリック手法と同等あるいは優れたパフォーマンスを提供することがわかった。 さらに、可視化は、NoPPAが文脈のトピック、一般的なフレーズ、単語の因果関係を理解するのをサポートする。 私たちのモデルはhttps://github.com/JacksonWuxs/NoPPAで利用可能です。

関連論文リスト

• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Do Smaller Language Models Answer Contextualised Questions Through Memorisation Or Generalisation? [8.51696622847778]
  モデルは、非常に類似したトレーニングサンプルから直接記憶される評価サンプルのラベルを予測できる能力と、しばしば区別される。 本稿では,本モデルが解答を記憶する可能性が極めて低い評価サンプルを同定する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T04:06:08Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Ditto: A Simple and Efficient Approach to Improve Sentence Embeddings [29.273438110694574]
  事前訓練された言語モデルからの文の埋め込みは、非形式的な単語に対するバイアスに悩まされる。 モデルに基づく重要度推定で単語を重み付けする,シンプルで効率的な非教師付きアプローチであるDiagonal Attention Pooling (Ditto)を提案する。 本稿では,Dittoが異方性問題を緩和し,意味的テキスト類似性タスクの事前学習モデルを改善することを示す。
  論文  参考訳（メタデータ） (2023-05-18T07:56:40Z)
• Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences [1.8592384822257952]
  本稿では,新しいトピックモデリングと推論アルゴリズムを提案する。 我々は,生成過程モデルとクラスタリングを組み合わせることで,事前学習文の埋め込みを活用する。 The Tailor の評価は,本手法が比較的少ない計算要求で最先端の成果をもたらすことを示している。
  論文  参考訳（メタデータ） (2023-02-06T20:13:11Z)
• Embedding Compression for Text Classification Using Dictionary Screening [8.308609870092884]
  テキスト分類タスクに圧縮を埋め込むための辞書スクリーニング手法を提案する。 提案手法は,パラメータ,平均テキストシーケンス,辞書サイズを大幅に削減する。
  論文  参考訳（メタデータ） (2022-11-23T05:32:13Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• On Sampling-Based Training Criteria for Neural Language Modeling [97.35284042981675]
  我々はモンテカルロサンプリング、重要サンプリング、補償部分和と呼ばれる新しい方法、およびノイズコントラスト推定を検討する。 対象のクラス後部確率を補正しさえすれば,これらすべてのサンプリング手法が同等に動作可能であることを示す。 Switchboard と LibriSpeech における言語モデリングと音声認識の実験結果が,我々の主張を支持した。
  論文  参考訳（メタデータ） (2021-04-21T12:55:52Z)
• $k$-Neighbor Based Curriculum Sampling for Sequence Prediction [22.631763991832862]
  言語モデルにおける多段階予測は、トレーニングとテスト時間プロセスの相違により困難である。 教師方針を段階的に変更するカリキュラム学習に基づく手法であるtextitNearest-Neighbor Replacement Samplingを提案する。 本研究では, 2つの言語モデリングベンチマークについて報告し, スケジュールされたサンプリングと併用することで, 性能をさらに向上させる方法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T20:07:29Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。