論文の概要: Improving Text-based Early Prediction by Distillation from Privileged
Time-Series Text
- arxiv url: http://arxiv.org/abs/2301.10887v1
- Date: Thu, 26 Jan 2023 01:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 14:37:10.387003
- Title: Improving Text-based Early Prediction by Distillation from Privileged
Time-Series Text
- Title(参考訳): 特権時系列テキストからの蒸留によるテキストベース早期予測の改善
- Authors: Jinghui Liu, Daniel Capurro, Anthony Nguyen, Karin Verspoor
- Abstract要約: 本研究は,NLP文脈における時系列の特権情報を用いた学習を初めて検討したものである。
本手法を臨床およびソーシャルメディアのテキスト上で評価し,臨床ノートに基づく4つの臨床予測課題と,ソーシャルメディア投稿に基づく2つのメンタルヘルス予測課題について検討した。
- 参考スコア(独自算出の注目度): 3.5365879024145457
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling text-based time-series to make prediction about a future event or
outcome is an important task with a wide range of applications. The standard
approach is to train and test the model using the same input window, but this
approach neglects the data collected in longer input windows between the
prediction time and the final outcome, which are often available during
training. In this study, we propose to treat this neglected text as privileged
information available during training to enhance early prediction modeling
through knowledge distillation, presented as Learning using Privileged
tIme-sEries Text (LuPIET). We evaluate the method on clinical and social media
text, with four clinical prediction tasks based on clinical notes and two
mental health prediction tasks based on social media posts. Our results show
LuPIET is effective in enhancing text-based early predictions, though one may
need to consider choosing the appropriate text representation and windows for
privileged text to achieve optimal performance. Compared to two other methods
using transfer learning and mixed training, LuPIET offers more stable
improvements over the baseline, standard training. As far as we are concerned,
this is the first study to examine learning using privileged information for
time-series in the NLP context.
- Abstract(参考訳): 将来の出来事や結果を予測するためにテキストベースの時系列をモデル化することは、幅広いアプリケーションにおいて重要なタスクである。
標準的なアプローチでは、同じ入力ウィンドウを使ってモデルをトレーニングし、テストするが、この手法は、予測時間と最終的な結果の間の長い入力ウィンドウで収集されたデータを無視する。
本研究では,この無視されたテキストを訓練中に利用できる特権情報として扱い,知識蒸留による早期予測モデルを強化することを提案する。
本手法を臨床およびソーシャルメディアのテキスト上で評価し,臨床ノートに基づく4つの臨床予測課題と,ソーシャルメディア投稿に基づく2つのメンタルヘルス予測課題について検討した。
以上の結果から,lupietはテキストベース早期予測の精度向上に有効であるが,適切なテキスト表現とウィンドウの選択を考慮すべきである。
トランスファーラーニングと混合トレーニングを使った他の2つの方法と比較して、LuPIETはベースラインよりも安定した標準トレーニングを提供する。
本研究は,NLP文脈における時系列の特権情報を用いた学習に関する最初の研究である。
関連論文リスト
- Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt
Learning with Data-Dependent Prior [14.232144691524528]
最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。
MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。
本稿では,素早い学習のためのベイズ的枠組みを提案する。
論文 参考訳(メタデータ) (2024-01-09T10:15:59Z) - Contrastive Difference Predictive Coding [79.74052624853303]
本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。
目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
論文 参考訳(メタデータ) (2023-10-31T03:16:32Z) - Studying the impacts of pre-training using ChatGPT-generated text on
downstream tasks [0.0]
本研究の目的は,言語モデルの事前学習における人工テキストの影響を検討することである。
我々は、CNN/DailyMailのニュース記事を用いて事前学習したRoBERTaと、同じ記事をトレーニングに用いたChatGPTの比較分析を行った。
事前学習における人工テキストの利用は、下流作業におけるモデルの性能や性別の偏りに有意な影響を与えないことを示す。
論文 参考訳(メタデータ) (2023-09-02T12:56:15Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - Exploiting the Textual Potential from Vision-Language Pre-training for
Text-based Person Search [17.360982091304137]
テキストベースPerson Search(TPS)は、歩行者を検索画像の代わりにテキスト記述にマッチさせることを目的としている。
最近のビジョンランゲージ事前学習モデルは、下流のTPSタスクに伝達可能な知識をもたらすことができ、より効率的なパフォーマンス向上をもたらす。
しかし、既存のTPS手法では、学習済みのビジュアルエンコーダのみを使用し、対応するテキスト表現を無視している。
論文 参考訳(メタデータ) (2023-03-08T10:41:22Z) - Prompt-based Learning for Text Readability Assessment [0.5076419064097734]
可読性評価のための事前学習されたSeq2seqモデルの新規適応を提案する。
与えられた2つのテキストからより難しいテキストを区別するために、Seq2seqモデルを適用できることを実証する。
論文 参考訳(メタデータ) (2023-02-25T18:39:59Z) - Ripple: Concept-Based Interpretation for Raw Time Series Models in
Education [5.374524134699487]
時系列は、教育予測タスクにおいて最も一般的な入力データである。
本稿では,グラフニューラルネットワークを用いた不規則な多変量時系列モデリングを用いて,同等あるいはより良い精度を実現する手法を提案する。
教育領域におけるこれらの進歩を分析し,早期学生のパフォーマンス予測の課題に対処する。
論文 参考訳(メタデータ) (2022-12-02T12:26:00Z) - A study on the efficacy of model pre-training in developing neural
text-to-speech system [55.947807261757056]
本研究の目的は,モデル事前学習がTSシステム性能に肯定的に寄与する理由と方法を明らかにすることである。
トレーニング前のデータを元のサイズの1/8に減らすと,TSシステムは同等の性能が得られることがわかった。
論文 参考訳(メタデータ) (2021-10-08T02:09:28Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳(メタデータ) (2020-10-12T19:42:25Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。