Fugu-MT 論文翻訳(概要): LAMPER: LanguAge Model and Prompt EngineeRing for zero-shot time series classification

論文の概要: LAMPER: LanguAge Model and Prompt EngineeRing for zero-shot time series classification

arxiv url: http://arxiv.org/abs/2403.15875v1
Date: Sat, 23 Mar 2024 15:52:37 GMT
ステータス: 処理完了
システム内更新日: 2024-03-26 20:42:03.570369
Title: LAMPER: LanguAge Model and Prompt EngineeRing for zero-shot time series classification
Title（参考訳）: LAMPER: ゼロショット時系列分類のためのLanguAge ModelとPrompt EngineeRing
Authors: Zhicheng Du, Zhaotian Xie, Yan Tong, Peiwu Qin,
Abstract要約: 本研究では,Pmpt EngineeRing(LAMPER)フレームワークを用いたLanguAgeモデルを構築し,多種多様なプロンプトの調整において,事前学習言語モデル(PLM)の適応性を体系的に評価する。
参考スコア（独自算出の注目度）: 0.4821250031784094
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This study constructs the LanguAge Model with Prompt EngineeRing (LAMPER) framework, designed to systematically evaluate the adaptability of pre-trained language models (PLMs) in accommodating diverse prompts and their integration in zero-shot time series (TS) classification. We deploy LAMPER in experimental assessments using 128 univariate TS datasets sourced from the UCR archive. Our findings indicate that the feature representation capacity of LAMPER is influenced by the maximum input token threshold imposed by PLMs.
Abstract（参考訳）: 本研究では,事前学習型言語モデル(PLM)の適応性の評価と,ゼロショット時系列(TS)分類への統合を目的とした,LAMPER(Prompt EngineeRing)フレームワークを用いたLanguAgeモデルの構築を行った。 UCRアーカイブから得られた128個の一変量TSデータセットを用いて実験評価にLAMPERをデプロイする。以上の結果から, LAMPERの特徴表現能力は, PLMが課す最大入力トークン閾値の影響を受けていることが示唆された。

関連論文リスト

Are Large Language Models In-Context Personalized Summarizers? Get an iCOPERNICUS Test Done! [14.231110627461]
大規模言語モデル(LLM)は、ICL(In-Context-Learning)に基づく要約においてかなり成功した。本稿では, EGISES を比較尺度として用いた, LLM における要約能力の新規なIn-COntext personalization learNIng sCrUtinyを提案する。報告したICLの性能に基づいて17の最先端LCMを評価し,よりリッチなプロンプトで探索すると15モデルのICPLが劣化することを示した。
論文参考訳（メタデータ） (2024-09-30T18:45:00Z)
Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文参考訳（メタデータ） (2024-09-02T22:35:03Z)
LETS-C: Leveraging Language Embedding for Time Series Classification [15.520883566827608]
本稿では,時系列領域における言語モデリングの成功を活用するための代替手法を提案する。言語埋め込みモデルを用いて時系列を埋め込み、その埋め込みを畳み込みニューラルネットワーク(CNN)と多層パーセプトロン(MLP)からなる単純な分類ヘッドと組み合わせる。この結果から,言語エンコーダを用いて時系列データを埋め込むことで,高速な時系列分類を実現する上で有望な方向性が示唆された。
論文参考訳（メタデータ） (2024-07-09T04:07:57Z)
CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文参考訳（メタデータ） (2024-05-17T07:43:25Z)
Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings [32.03184402316848]
我々は,素早いモデルから抽出した帰属スコアの妥当性と忠実度を分析した。プロンプトパラダイムを用いることで、低リソース環境下でモデルを微調整するよりも、より妥当な説明が得られます。
論文参考訳（メタデータ） (2024-03-08T14:14:37Z)
A Quantitative Approach to Understand Self-Supervised Models as Cross-lingual Feature Extractors [9.279391026742658]
特徴抽出器としてのモデルの性能に及ぼすモデルサイズ,トレーニング目標,モデルアーキテクチャの影響を解析する。我々は,抽出した表現の音声情報と合成情報を測定するために,音声合成比(PSR)という新しい尺度を開発した。
論文参考訳（メタデータ） (2023-11-27T15:58:28Z)
BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文参考訳（メタデータ） (2023-10-24T12:18:17Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文参考訳（メタデータ） (2023-07-04T02:47:42Z)
Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
論文参考訳（メタデータ） (2021-07-10T02:13:25Z)
Learning summary features of time series for likelihood free inference [93.08098361687722]
時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
論文参考訳（メタデータ） (2020-12-04T19:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。