論文の概要: Ranking Creative Language Characteristics in Small Data Scenarios

• arxiv url: http://arxiv.org/abs/2010.12613v1
• Date: Fri, 23 Oct 2020 18:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 22:52:44.921227
• Title: Ranking Creative Language Characteristics in Small Data Scenarios
• Title（参考訳）: 小さなデータシナリオにおける創造的言語特性のランク付け
• Authors: Julia Siekiera, Marius K\"oppel, Edwin Simpson, Kevin Stowe, Iryna Gurevych, Stefan Kramer
• Abstract要約: DirectRankerを適用して、小さなデータでクリエイティブ言語をランク付けするための、新しいディープモデルを提供します。 スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークのランク付け手法の性能は小さなデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。
• 参考スコア（独自算出の注目度）: 52.00161818003478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to rank creative natural language provides an important general tool for downstream language understanding and generation. However, current deep ranking models require substantial amounts of labeled data that are difficult and expensive to obtain for different domains, languages and creative characteristics. A recent neural approach, the DirectRanker, promises to reduce the amount of training data needed but its application to text isn't fully explored. We therefore adapt the DirectRanker to provide a new deep model for ranking creative language with small data. We compare DirectRanker with a Bayesian approach, Gaussian process preference learning (GPPL), which has previously been shown to work well with sparse data. Our experiments with sparse training data show that while the performance of standard neural ranking approaches collapses with small training datasets, DirectRanker remains effective. We find that combining DirectRanker with GPPL increases performance across different settings by leveraging the complementary benefits of both models. Our combined approach outperforms the previous state-of-the-art on humor and metaphor novelty tasks, increasing Spearman's $\rho$ by 14% and 16% on average.
• Abstract（参考訳）: 創造的な自然言語をランク付けする能力は、下流の言語理解と生成のための重要な汎用ツールを提供する。 しかし、現在のディープランキングモデルでは、異なるドメイン、言語、創造的特徴のために取得するのが困難で高価なラベル付きデータが必要となる。 最近のニューラルアプローチであるdirectrankerは、必要なトレーニングデータの量を減らすことを約束しているが、テキストへの応用は十分に検討されていない。 そこで我々はDirectRankerを採用し、小さなデータでクリエイティブ言語をランク付けするための新しいディープモデルを提供する。 DirectRanker と Bayes のアプローチである Gaussian Process preference Learning (GPPL) を比較した。 スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークランキング手法の性能は小さなトレーニングデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。 DirectRankerとGPPLを組み合わせることで、両方のモデルの相補的な利点を活用することで、異なる設定におけるパフォーマンスが向上することがわかった。 我々のアプローチは過去のユーモアとメタファのノベルティのタスクを上回り、Spearmanの$\rho$を平均で14%、そして16%増やした。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• DUQGen: Effective Unsupervised Domain Adaptation of Neural Rankers by Diversifying Synthetic Query Generation [8.661419320202787]
  MS-MARCOのような大規模タスク固有のトレーニングデータで事前訓練された最先端のニューラルローダーは、ドメイン適応なしで様々なランク付けタスクに強いパフォーマンスを示すことが示されている(ゼロショットとも呼ばれる)。 本稿では,従来の文献における重要なギャップに対処する,ランク付けのための教師なしドメイン適応手法であるDUQGenを提案する。
  論文  参考訳（メタデータ） (2024-04-03T05:50:42Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training [20.98770732015944]
  少量のラベル付きデータのみを使用して、基礎となる意図に基づいて発話を分類するために、深層学習モデルを訓練する。 この課題に対するPLMの過度な適合問題は、予想されるほど深刻ではないため、継続事前学習は必須ではない可能性がある。 限られた利用可能なデータの利用を最大化するために,コンテキスト拡張法を提案し,逐次自己蒸留を利用して性能を向上させる。
  論文  参考訳（メタデータ） (2023-06-08T15:26:52Z)
• Selective In-Context Data Augmentation for Intent Detection using Pointwise V-Information [100.03188187735624]
  PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。 提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。 そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
  論文  参考訳（メタデータ） (2023-02-10T07:37:49Z)
• Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
  我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。 我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-19T16:25:50Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。