論文の概要: Improving Text-based Early Prediction by Distillation from Privileged Time-Series Text

• arxiv url: http://arxiv.org/abs/2301.10887v1
• Date: Thu, 26 Jan 2023 01:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 14:37:10.387003
• Title: Improving Text-based Early Prediction by Distillation from Privileged Time-Series Text
• Title（参考訳）: 特権時系列テキストからの蒸留によるテキストベース早期予測の改善
• Authors: Jinghui Liu, Daniel Capurro, Anthony Nguyen, Karin Verspoor
• Abstract要約: 本研究は,NLP文脈における時系列の特権情報を用いた学習を初めて検討したものである。 本手法を臨床およびソーシャルメディアのテキスト上で評価し,臨床ノートに基づく4つの臨床予測課題と,ソーシャルメディア投稿に基づく2つのメンタルヘルス予測課題について検討した。
• 参考スコア（独自算出の注目度）: 3.5365879024145457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling text-based time-series to make prediction about a future event or outcome is an important task with a wide range of applications. The standard approach is to train and test the model using the same input window, but this approach neglects the data collected in longer input windows between the prediction time and the final outcome, which are often available during training. In this study, we propose to treat this neglected text as privileged information available during training to enhance early prediction modeling through knowledge distillation, presented as Learning using Privileged tIme-sEries Text (LuPIET). We evaluate the method on clinical and social media text, with four clinical prediction tasks based on clinical notes and two mental health prediction tasks based on social media posts. Our results show LuPIET is effective in enhancing text-based early predictions, though one may need to consider choosing the appropriate text representation and windows for privileged text to achieve optimal performance. Compared to two other methods using transfer learning and mixed training, LuPIET offers more stable improvements over the baseline, standard training. As far as we are concerned, this is the first study to examine learning using privileged information for time-series in the NLP context.
• Abstract（参考訳）: 将来の出来事や結果を予測するためにテキストベースの時系列をモデル化することは、幅広いアプリケーションにおいて重要なタスクである。 標準的なアプローチでは、同じ入力ウィンドウを使ってモデルをトレーニングし、テストするが、この手法は、予測時間と最終的な結果の間の長い入力ウィンドウで収集されたデータを無視する。 本研究では,この無視されたテキストを訓練中に利用できる特権情報として扱い,知識蒸留による早期予測モデルを強化することを提案する。 本手法を臨床およびソーシャルメディアのテキスト上で評価し,臨床ノートに基づく4つの臨床予測課題と,ソーシャルメディア投稿に基づく2つのメンタルヘルス予測課題について検討した。 以上の結果から,lupietはテキストベース早期予測の精度向上に有効であるが,適切なテキスト表現とウィンドウの選択を考慮すべきである。 トランスファーラーニングと混合トレーニングを使った他の2つの方法と比較して、LuPIETはベースラインよりも安定した標準トレーニングを提供する。 本研究は,NLP文脈における時系列の特権情報を用いた学習に関する最初の研究である。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• From Text to Treatment Effects: A Meta-Learning Approach to Handling Text-Based Confounding [7.5348062792]
  本稿では,共起変数をテキストで表現する場合のメタラーナーの性能について検討する。 共同創設者の事前学習したテキスト表現を用いた学習者は,CATE推定精度の向上を図っている。 テキスト埋め込みの絡み合った性質のため、これらのモデルは、完全な共同創設者の知識を持つメタ学習者のパフォーマンスと完全には一致しない。
  論文  参考訳（メタデータ） (2024-09-23T19:46:19Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt Learning with Data-Dependent Prior [14.232144691524528]
  最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。 MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。 本稿では,素早い学習のためのベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:15:59Z)
• Contrastive Difference Predictive Coding [79.74052624853303]
  本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。 目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
  論文  参考訳（メタデータ） (2023-10-31T03:16:32Z)
• Studying the impacts of pre-training using ChatGPT-generated text on downstream tasks [0.0]
  本研究の目的は,言語モデルの事前学習における人工テキストの影響を検討することである。 我々は、CNN/DailyMailのニュース記事を用いて事前学習したRoBERTaと、同じ記事をトレーニングに用いたChatGPTの比較分析を行った。 事前学習における人工テキストの利用は、下流作業におけるモデルの性能や性別の偏りに有意な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-09-02T12:56:15Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Ripple: Concept-Based Interpretation for Raw Time Series Models in Education [5.374524134699487]
  時系列は、教育予測タスクにおいて最も一般的な入力データである。 本稿では,グラフニューラルネットワークを用いた不規則な多変量時系列モデリングを用いて,同等あるいはより良い精度を実現する手法を提案する。 教育領域におけるこれらの進歩を分析し,早期学生のパフォーマンス予測の課題に対処する。
  論文  参考訳（メタデータ） (2022-12-02T12:26:00Z)
• A study on the efficacy of model pre-training in developing neural text-to-speech system [55.947807261757056]
  本研究の目的は,モデル事前学習がTSシステム性能に肯定的に寄与する理由と方法を明らかにすることである。 トレーニング前のデータを元のサイズの1/8に減らすと,TSシステムは同等の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-08T02:09:28Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。