論文の概要: Encoding Multi-Domain Scientific Papers by Ensembling Multiple CLS Tokens

• arxiv url: http://arxiv.org/abs/2309.04333v1
• Date: Fri, 8 Sep 2023 14:00:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:24:41.198923
• Title: Encoding Multi-Domain Scientific Papers by Ensembling Multiple CLS Tokens
• Title（参考訳）: 複数のCLSトークンを組み込んだマルチドメイン科学論文の符号化
• Authors: Ronald Seoh, Haw-Shiuan Chang, Andrew McCallum
• Abstract要約: Multi2SPEは、複数のCLSトークンのそれぞれに、トークンの埋め込みを集約するさまざまな方法を学ぶことを奨励する。 また,Multi2SPEは,マルチドメイン励磁予測において最大25%の誤差を減少させることを示した。
• 参考スコア（独自算出の注目度）: 48.925698497311835
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many useful tasks on scientific documents, such as topic classification and citation prediction, involve corpora that span multiple scientific domains. Typically, such tasks are accomplished by representing the text with a vector embedding obtained from a Transformer's single CLS token. In this paper, we argue that using multiple CLS tokens could make a Transformer better specialize to multiple scientific domains. We present Multi2SPE: it encourages each of multiple CLS tokens to learn diverse ways of aggregating token embeddings, then sums them up together to create a single vector representation. We also propose our new multi-domain benchmark, Multi-SciDocs, to test scientific paper vector encoders under multi-domain settings. We show that Multi2SPE reduces error by up to 25 percent in multi-domain citation prediction, while requiring only a negligible amount of computation in addition to one BERT forward pass.
• Abstract（参考訳）: トピック分類や引用予測など、科学文書に関する多くの有用なタスクには、複数の科学領域にまたがるコーパスが含まれる。 通常、そのようなタスクは、Transformerの単一のCLSトークンから得られるベクトル埋め込みでテキストを表現することで達成される。 本稿では,複数のclsトークンを使用することで,トランスフォーマーが複数の科学領域に特化できると論じる。 Multi2SPEは,複数のCLSトークンに対して,トークンの埋め込みの多様な方法を学ぶことを奨励し,それらをまとめて1つのベクトル表現を生成する。 また、マルチドメイン設定下で科学論文ベクトルエンコーダをテストするために、新しいマルチドメインベンチマークであるMulti-SciDocsを提案する。 マルチ2speは,マルチドメインの引用予測において最大25%の誤差を低減できるが,bertフォワードパスを1つに加えた計算量は無視できる。

関連論文リスト

• UMFC: Unsupervised Multi-Domain Feature Calibration for Vision-Language Models [75.77651291095565]
  我々は、視覚言語モデルの転送可能性を高めるために、自然に複数のドメインにまたがるラベルのないデータを活用する。 この教師なしマルチドメイン設定の下で、我々はCLIP内の固有モデルバイアスを特定した。 このモデルバイアスを軽減するために,Unsupervised Multi-domain Feature (UMFC)を提案する。
  論文  参考訳（メタデータ） (2024-11-11T12:25:02Z)
• Contrastive Learning and Mixture of Experts Enables Precise Vector Embeddings [0.0]
  本稿では,類似度指標として共引用を用いてニッチデータセットを組み立てることにより,科学文献のベクトル埋め込みを改善する。 本研究では,複数層のパーセプトロン区間を拡大し,複数の異なる専門家にコピーする,新たなMixture of Experts(MoE)拡張パイプラインを事前訓練されたBERTモデルに適用する。 私たちのMOEの変種は、N$の専門知識を持つ科学ドメインよりも優れていますが、標準的なBERTモデルは1つのドメインでしか排他的ではありません。
  論文  参考訳（メタデータ） (2024-01-28T17:34:42Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers [0.0]
  マルチドメインテキスト・テキスト・トランスフォーマ(MD-T5)を用いたマルチドメインマルチタスク学習の動作について検討した。 我々は,ベルト型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整,GPT型関節前訓練+連続微調整の3つの一般的なトレーニング戦略を用いて実験を行った。 負の知識伝達と破滅的な忘れは,すべてのモデルにおいて依然として大きな課題であるが,GPTスタイルのジョイントプレトレーニング+ジョイントファインタニング戦略はマルチドメイン・マルチタスク学習において最も有望であることを示した。
  論文  参考訳（メタデータ） (2022-09-21T04:21:27Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Paperswithtopic: Topic Identification from Paper Title Only [5.025654873456756]
  人工知能(AI)分野からタイトルとサブフィールドで組み合わせた論文のデータセットを提示する。 また、論文タイトルのみから、論文のAIサブフィールドを予測する方法についても提示する。 変圧器モデルに対しては、モデルの分類過程をさらに説明するために、勾配に基づく注意可視化も提示する。
  論文  参考訳（メタデータ） (2021-10-09T06:32:09Z)
• Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
  本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。 具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
  論文  参考訳（メタデータ） (2021-05-31T23:19:00Z)
• MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers [1.7403133838762446]
  異なるスロットタイプをカバーする複数のデータセットを用いたスロットタグの訓練をマルチタスク学習問題として検討する。 生物医学領域における実験結果から,提案手法は従来のスロットタグシステムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-01-24T07:16:32Z)
• Multi-level Head-wise Match and Aggregation in Transformer for Textual Sequence Matching [87.97265483696613]
  そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。 実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2020-01-20T20:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。