論文の概要: Leveraging Pre-Trained Language Models to Streamline Natural Language Interaction for Self-Tracking

• arxiv url: http://arxiv.org/abs/2205.15503v1
• Date: Tue, 31 May 2022 01:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 03:45:47.104118
• Title: Leveraging Pre-Trained Language Models to Streamline Natural Language Interaction for Self-Tracking
• Title（参考訳）: 自己学習のための自然言語インタラクションの合理化のための事前学習言語モデルの活用
• Authors: Young-Ho Kim, Sungdong Kim, Minsuk Chang, Sang-Woo Lee
• Abstract要約: 本研究では,自己追跡のための新たなNLPタスクを提案する。 このフレームワークは、合成サンプルを使用してタスクを10ショットの学習に変換するプロンプトを強化し、新しいトラッキングトピックをブートストラップする際のコールドスタート問題に対処する。
• 参考スコア（独自算出の注目度）: 25.28975864365579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current natural language interaction for self-tracking tools largely depends on bespoke implementation optimized for a specific tracking theme and data format, which is neither generalizable nor scalable to a tremendous design space of self-tracking. However, training machine learning models in the context of self-tracking is challenging due to the wide variety of tracking topics and data formats. In this paper, we propose a novel NLP task for self-tracking that extracts close- and open-ended information from a retrospective activity log described as a plain text, and a domain-agnostic, GPT-3-based NLU framework that performs this task. The framework augments the prompt using synthetic samples to transform the task into 10-shot learning, to address a cold-start problem in bootstrapping a new tracking topic. Our preliminary evaluation suggests that our approach significantly outperforms the baseline QA models. Going further, we discuss future application domains toward which the NLP and HCI researchers can collaborate.
• Abstract（参考訳）: 現在のセルフトラッキングツールの自然言語インタラクションは、特定のトラッキングテーマとデータフォーマットに最適化された独自実装に大きく依存しています。 しかし、多種多様なトラッキングトピックやデータフォーマットのため、セルフトラッキングの文脈で機械学習モデルをトレーニングすることは困難である。 本稿では,平文として記述された振り返りアクティビティログから近・オープンな情報を抽出する自己追跡のための新しいNLPタスクと,このタスクを実行するドメインに依存しないGPT-3ベースのNLUフレームワークを提案する。 このフレームワークは、合成サンプルを使用してタスクを10ショットの学習に変換するプロンプトを強化し、新しいトラッキングトピックをブートストラップする際のコールドスタート問題に対処する。 予備評価は,本手法がベースラインQAモデルよりも有意に優れていることを示唆している。 さらに、NLPとHCIの研究者が協力できる将来的なアプリケーション領域について論じる。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Towards Unified Token Learning for Vision-Language Tracking [65.96561538356315]
  本稿では,VL追跡をトークン生成タスクとして用いた「textbfMMTrack」という,視覚言語(VL)追跡パイプラインを提案する。 提案フレームワークは,言語記述と境界ボックスを離散トークン列にシリアライズする。 この新しい設計パラダイムでは、全てのトークンクエリが望ましいターゲットを認識し、ターゲットの空間座標を直接予測するために必要となる。
  論文  参考訳（メタデータ） (2023-08-27T13:17:34Z)
• ChatGPT for Zero-shot Dialogue State Tracking: A Solution or an Opportunity? [2.3555053092246125]
  本研究は,ChatGPTがゼロショットDSTにおける最先端性能を達成することを実証した,ChatGPT研究プレビューの予備実験結果を示す。 このようなモデルのコンテキスト内学習能力は、専用および動的対話状態トラッカーの開発を支援する強力なツールになりそうである。
  論文  参考訳（メタデータ） (2023-06-02T09:15:01Z)
• Annotated Dataset Creation through General Purpose Language Models for non-English Medical NLP [0.5482532589225552]
  我々の研究では、事前訓練された言語モデルをデータ取得のトレーニングに活用することを提案する。 我々は、ドイツのテキストであるGPTNERMEDの医療用NERモデルをトレーニングするために使用するカスタムデータセットを作成します。
  論文  参考訳（メタデータ） (2022-08-30T18:42:55Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Leveraging pre-trained language models for conversational information seeking from text [2.8425118603312]
  本稿では,プロセス記述文書から情報抽出の問題に対処するために,文脈内学習と事前学習言語表現モデルの使用について検討する。 その結果、このアプローチの可能性と、コンテキスト内学習のカスタマイズの有用性が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-03-31T09:00:46Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
  FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。 我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。 FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-02-27T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。