論文の概要: Plug-and-Play Document Modules for Pre-trained Models

• arxiv url: http://arxiv.org/abs/2305.17660v1
• Date: Sun, 28 May 2023 08:01:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:39:42.334289
• Title: Plug-and-Play Document Modules for Pre-trained Models
• Title（参考訳）: 事前学習モデルのためのプラグ・アンド・プレイ文書モジュール
• Authors: Chaojun Xiao, Zhengyan Zhang, Xu Han, Chi-Min Chan, Yankai Lin, Zhiyuan Liu, Xiangyang Li, Zhonghua Li, Zhao Cao, Maosong Sun
• Abstract要約: PTM用文書プラグイン(PlugD)として,各文書をプラグイン・アンド・プレイ用文書モジュールとして表現することを提案する。 ダウンストリームタスクのためにドキュメントプラグインをバックボーンPTMに挿入することで、ドキュメントを一度エンコードして複数のタスクを処理することができます。 典型的な4つのNLPタスクの8つのデータセットの実験では、PlugDによって、さまざまなシナリオにまたがって、複数のドキュメントをエンコードすることが可能である。
• 参考スコア（独自算出の注目度）: 92.9897146991974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pre-trained models (PTMs) have been widely used in document-oriented NLP tasks, such as question answering. However, the encoding-task coupling requirement results in the repeated encoding of the same documents for different tasks and queries, which is highly computationally inefficient. To this end, we target to decouple document encoding from downstream tasks, and propose to represent each document as a plug-and-play document module, i.e., a document plugin, for PTMs (PlugD). By inserting document plugins into the backbone PTM for downstream tasks, we can encode a document one time to handle multiple tasks, which is more efficient than conventional encoding-task coupling methods that simultaneously encode documents and input queries using task-specific encoders. Extensive experiments on 8 datasets of 4 typical NLP tasks show that PlugD enables models to encode documents once and for all across different scenarios. Especially, PlugD can save $69\%$ computational costs while achieving comparable performance to state-of-the-art encoding-task coupling methods. Additionally, we show that PlugD can serve as an effective post-processing way to inject knowledge into task-specific models, improving model performance without any additional model training.
• Abstract（参考訳）: 大規模事前学習モデル(PTM)は、質問応答などの文書指向のNLPタスクに広く用いられている。 しかし、エンコーディングとタスクの結合要件により、異なるタスクやクエリに対して同じ文書を繰り返しエンコーディングすることになり、計算効率が低下する。 この目的のために、下流タスクから文書エンコーディングを分離することを目標とし、各文書をPTM(PlugD)用のプラグインであるプラグイン・アンド・プレイ文書モジュールとして表現することを提案する。 下流タスクのために文書プラグインをバックボーンPTMに挿入することで、文書を1回エンコードして複数のタスクを処理することができ、タスク固有のエンコーダを用いて文書と入力クエリを同時にエンコードする従来のエンコード-タスク結合方式よりも効率的である。 典型的な4つのNLPタスクの8つのデータセットに対する大規模な実験は、PlugDによって、さまざまなシナリオにまたがって、モデルがドキュメントをエンコードできることを示している。 特にplugdは計算コストを節約でき、最先端のエンコーディング-タスク結合法に匹敵する性能を実現している。 さらに、PlugDはタスク固有のモデルに知識を注入する効果的な後処理方法として機能し、追加のモデルトレーニングなしでモデル性能を向上させることができることを示す。

関連論文リスト

• DocFusion: A Unified Framework for Document Parsing Tasks [22.916911092946897]
  DocFusionは0.28Bパラメータしか持たない軽量な生成モデルである。 タスク表現を統一し、改善された目的関数を通して協調訓練を行う。
  論文  参考訳（メタデータ） (2024-12-17T03:20:00Z)
• BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks [55.61185100263898]
  我々は,30タスクにわたる750万のマルチモーダルドキュメントからなる高品質なオープンアクセスデータセットであるBigDocs-7.5Mを紹介した。 BigDocs-Benchも導入しています。 実験の結果,BigDocs-Bench を用いたトレーニングでは,クローズドソース GPT-4o よりも平均性能が 25.8% 向上していることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T21:41:20Z)
• M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework [75.95430061891828]
  851サンプルのベンチマークであるM-LongDocと、大規模マルチモーダルモデルの性能を評価するための自動フレームワークを紹介する。 効率的なマルチモーダル文書読解のための検索対応チューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-09T13:30:38Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations [63.04466647849211]
  メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。 本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。 これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
  論文  参考訳（メタデータ） (2022-12-17T02:20:14Z)
• Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization [12.799359904396624]
  多文書要約における重要な課題の1つは、単一文書要約(SDS)と多文書要約(MDS)を区別する入力文書間の関係を捉えることである。 本稿では,MDS用トランスフォーマーアーキテクチャと融合可能な文書認識位置符号化と言語誘導符号化を提案する。
  論文  参考訳（メタデータ） (2022-09-13T12:22:38Z)
• Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval [79.37614949970013]
  そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。 本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
  論文  参考訳（メタデータ） (2022-08-08T16:00:55Z)
• MuLD: The Multitask Long Document Benchmark [4.835289158553091]
  我々は1万以上のトークンからなる文書のみからなる新しい長期文書ベンチマークを示す。 文脈長の増大したモデルでは,課題の解決がより容易であることを示す。
  論文  参考訳（メタデータ） (2022-02-15T12:42:55Z)
• DynE: Dynamic Ensemble Decoding for Multi-Document Summarization [5.197307534263253]
  異なる入力に対して同一モデルの複数のインスタンスの出力をアンサンブルする単純な復号法を提案する。 我々は,複数の文書要約データセットの最先端結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T20:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。