論文の概要: Towards Parameter-Efficient Integration of Pre-Trained Language Models
In Temporal Video Grounding
- arxiv url: http://arxiv.org/abs/2209.13359v1
- Date: Mon, 26 Sep 2022 08:11:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 14:30:27.201485
- Title: Towards Parameter-Efficient Integration of Pre-Trained Language Models
In Temporal Video Grounding
- Title(参考訳): 時間的ビデオグラウンドにおける事前学習言語モデルのパラメータ効率向上に向けて
- Authors: Erica K. Shimomoto, Edison Marrese-Taylor, Hiroya Takamura, Ichiro
Kobayashi, Hideki Nakayama, Yusuke Miyao
- Abstract要約: 本稿では,TVG(Temporal Video Grounding)の課題について検討する。
目標は、提供された自然言語クエリによって記述されたビデオ内のアクションインスタンスの時間的境界を認識し、決定することである。
最近の研究は、大規模事前学習言語モデル(PLM)を用いてクエリを直接符号化することで、この課題を解決する。
- 参考スコア(独自算出の注目度): 37.199310579532884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores the task of Temporal Video Grounding (TVG) where, given
an untrimmed video and a query sentence, the goal is to recognize and determine
temporal boundaries of action instances in the video described by the provided
natural language queries. Recent works solve this task by directly encoding the
query using large pre-trained language models (PLM). However, isolating the
effects of the improved language representations is difficult, as these works
also propose improvements in the visual inputs. Furthermore, these PLMs
significantly increase the computational cost of training TVG models.
Therefore, this paper studies the effects of PLMs in the TVG task and assesses
the applicability of NLP parameter-efficient training alternatives based on
adapters. We couple popular PLMs with a selection of existing approaches and
test different adapters to reduce the impact of the additional parameters. Our
results on three challenging datasets show that TVG models could greatly
benefit from PLMs when these are fine-tuned for the task and that adapters are
an effective alternative to full fine-tuning, even though they are not tailored
for our task. Concretely, adapters helped save on computational cost, allowing
PLM integration in larger TVG models and delivering results comparable to the
state-of-the-art models. Finally, through benchmarking different types of
adapters in TVG, our results shed light on what kind of adapters work best for
each studied case.
- Abstract(参考訳): 本稿では,提案する自然言語クエリによって記述されたビデオ中のアクションインスタンスの時間的境界を認識し,決定することを目的とした,ビデオ検索(TVG)の課題について検討する。
最近の研究は、大規模事前学習言語モデル(PLM)を用いてクエリを直接符号化することで、この課題を解決する。
しかし,言語表現の改善効果の分離は困難であり,視覚入力の改善も提案されている。
さらに、これらのPLMは、TVGモデルをトレーニングする際の計算コストを大幅に向上させる。
そこで本研究では,TVG タスクにおける PLM の効果について検討し,アダプタに基づく NLP パラメータ効率の訓練方法の適用性を評価する。
一般的なplmと既存のアプローチを組み合わせることで、追加パラメータの影響を減らすために異なるアダプタをテストする。
3つの挑戦的データセットから得られた結果から,TVG モデルがタスク用に微調整された場合の PLM の恩恵が大きく,アダプタがタスク用に調整されていない場合でも,完全な微調整に代わる効果的な代替手段であることが示唆された。
具体的には、アダプタは計算コストを削減し、より大きなTVGモデルへのPLM統合を可能にし、最先端のモデルに匹敵する結果を提供する。
最後に、TVGのさまざまなタイプのアダプタをベンチマークすることで、研究対象のケースごとにどのアダプタが最適かが明らかになった。
関連論文リスト
- p-Laplacian Adaptation for Generative Pre-trained Vision-Language Models [10.713680139939354]
大きなコーパスで事前訓練された視覚言語モデル(VLM)は、下流のタスクで顕著な成功を収めている。
PETLはフル微調整の代替として注目されている。
グラフニューラルネットワーク(GNN)において,$p$-Laplacianメッセージパッシングを利用する新しいアダプタアーキテクチャである$p$-adapterを提案する。
論文 参考訳(メタデータ) (2023-12-17T05:30:35Z) - PEMA: Plug-in External Memory Adaptation for Language Models [7.442935685802593]
プレトレーニング言語モデル (PLM) は、様々な下流のNLPタスクで顕著なパフォーマンスを示している。
メモリおよびトレーニング計算の観点から、大規模言語モデルの事前学習のリソース要件は、重大な課題である。
本稿では,PEMA(Plug-in external Memory Adaptation)を紹介する。
全重量を必要とせずに微調整 PLM を効率的に調整できるPEFT (Efficient Fine-Tuning) アプローチ
論文 参考訳(メタデータ) (2023-11-14T23:20:51Z) - Parameter and Computation Efficient Transfer Learning for
Vision-Language Pre-trained Models [79.34513906324727]
本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。
そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
論文 参考訳(メタデータ) (2023-09-04T09:34:33Z) - AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity
Matching using Adapter-tuning [3.4754314910585626]
本稿では,アダプタをベースとした微調整PrLMのためのパラメータ効率のパラダイムを提案する。
提案手法は,フルスケールのPrLMファインチューニングとプロンプトチューニングのベースラインに匹敵する,あるいは優れた性能を実現する。
論文 参考訳(メタデータ) (2023-05-30T04:03:23Z) - LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of
Large Language Models [75.25782573728677]
本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。
このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。
本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
論文 参考訳(メタデータ) (2023-04-04T16:31:37Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳(メタデータ) (2022-12-01T17:31:42Z) - Exploring Efficient-tuning Methods in Self-supervised Speech Models [53.633222197712875]
自己教師付き学習は、異なる音声タスクの強力な表現を学習することができる。
下流タスクでは、SSLモデルのパラメータは凍結され、アダプタのみがトレーニングされる。
90%以上のパラメータ削減を達成できることを示す。
論文 参考訳(メタデータ) (2022-10-10T11:08:12Z) - Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。
提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-10-03T09:54:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。