論文の概要: Boosting the Performance of Transformer Architectures for Semantic Textual Similarity

• arxiv url: http://arxiv.org/abs/2306.00708v1
• Date: Thu, 1 Jun 2023 14:16:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 15:46:38.822448
• Title: Boosting the Performance of Transformer Architectures for Semantic Textual Similarity
• Title（参考訳）: 意味的テキスト類似性のためのトランスフォーマーアーキテクチャの性能向上
• Authors: Ivan Rep, Vladimir \v{C}eperi\'c
• Abstract要約: セマンティックテキスト類似性ベンチマークのセマンティックテキスト類似性のためのトランスフォーマーアーキテクチャについて述べる。 BERT,RoBERTa,DeBERTaV3のクロスエンコーダをバイナリ分類タスクや回帰タスクとして利用して実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic textual similarity is the task of estimating the similarity between the meaning of two texts. In this paper, we fine-tune transformer architectures for semantic textual similarity on the Semantic Textual Similarity Benchmark by tuning the model partially and then end-to-end. We experiment with BERT, RoBERTa, and DeBERTaV3 cross-encoders by approaching the problem as a binary classification task or a regression task. We combine the outputs of the transformer models and use handmade features as inputs for boosting algorithms. Due to worse test set results coupled with improvements on the validation set, we experiment with different dataset splits to further investigate this occurrence. We also provide an error analysis, focused on the edges of the prediction range.
• Abstract（参考訳）: 意味的テクスト類似性(Semantic textual similarity)とは、2つのテキストの意味の類似性を推定するタスクである。 本稿では,セマンティックテキスト類似度ベンチマークのセマンティックテキスト類似度に対して,モデルを部分的に調整し,それをエンドツーエンドに調整する。 本稿では,BERT,RoBERTa,DeBERTaV3のクロスエンコーダをバイナリ分類タスクや回帰タスクとして提案する。 トランスフォーマーモデルの出力を結合し,手作りの機能をブースティングアルゴリズムの入力として使用する。 検証セットの改善と併用したテストセット結果の悪化により,異なるデータセット分割を試行して,この発生についてさらに検討する。 また,予測範囲のエッジに着目した誤差解析も提供する。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Table Transformers for Imputing Textual Attributes [15.823533688884105]
  本稿では,TTITA(Imputing Textual Attributes)のためのテーブルトランスフォーマー(Table Transformer)という新しいエンドツーエンドアプローチを提案する。 提案手法は,リカレントニューラルネットワークやLlama2などのベースラインモデルよりも優れた性能を示す。 マルチタスク学習を組み込んで、不均一な列を同時にインプットし、テキストインプットの性能を高める。
  論文  参考訳（メタデータ） (2024-08-04T19:54:12Z)
• Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval [68.61855682218298]
  クロスモーダル検索法では、画像とテキストの異なるアーキテクチャを持つ2ストリームエンコーダを用いる。 視覚タスクにおけるトランスフォーマーの最近の進歩に触発されて,トランスフォーマーとエンコーダアーキテクチャを両モードで統一することを提案する。 我々は、画像変換器、テキスト変換器、階層アライメントモジュールからなる2ストリーム変換器(textbfHierarchical Alignment Transformers, HAT)を純粋にベースとしたクロスモーダル検索フレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-08T15:43:59Z)
• BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis [0.0]
  本研究は、インドネシアの感情分析のためのBERT表現を用いた従来のハイブリッドディープラーニングを拡張した。 シミュレーションにより,BERT表現はすべてのハイブリッドアーキテクチャの精度を向上させることが示された。
  論文  参考訳（メタデータ） (2022-11-10T00:32:40Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A Transformer-based Approach [0.0]
  我々は,従来の技術とトランスフォーマー技術の両方を用いて,米国特許法とPhrase Matchingデータセットのセマンティック類似性解析とモデリングを行う。 実験の結果,従来の手法と比較して手法の性能が向上し,平均ピアソン相関スコアは0.79。
  論文  参考訳（メタデータ） (2022-07-24T11:06:56Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
  本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。 両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。 このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
  論文  参考訳（メタデータ） (2020-07-15T13:01:44Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。