論文の概要: News Headline Grouping as a Challenging NLU Task
- arxiv url: http://arxiv.org/abs/2105.05391v1
- Date: Wed, 12 May 2021 01:40:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-13 12:27:45.003648
- Title: News Headline Grouping as a Challenging NLU Task
- Title（参考訳）: NLU課題としてのニュース見出しグループ化
- Authors: Philippe Laban, Lucas Bandarkar, Marti A. Hearst
- Abstract要約: ヘッドライングループ(HLG)と20,056組のニュース見出しからなる対応するデータセット(HLGD)のタスクを紹介します。
HLGDでは、人間のアノテーションーはおよそ0.9 F-1の高性能を達成し、現在の最先端のトランスフォーマーモデルは0.75 F-1にしか達しません。
最良監督モデルの3F-1内で実現するヘッドライングルーピングのタスクのための新しい非監視ヘッドラインジェネレータスワップモデルを提案します。
- 参考スコア（独自算出の注目度）: 21.07243197246345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in Natural Language Understanding (NLU) has seen the latest
models outperform human performance on many standard tasks. These impressive
results have led the community to introspect on dataset limitations, and
iterate on more nuanced challenges. In this paper, we introduce the task of
HeadLine Grouping (HLG) and a corresponding dataset (HLGD) consisting of 20,056
pairs of news headlines, each labeled with a binary judgement as to whether the
pair belongs within the same group. On HLGD, human annotators achieve high
performance of around 0.9 F-1, while current state-of-the art Transformer
models only reach 0.75 F-1, opening the path for further improvements. We
further propose a novel unsupervised Headline Generator Swap model for the task
of HeadLine Grouping that achieves within 3 F-1 of the best supervised model.
Finally, we analyze high-performing models with consistency tests, and find
that models are not consistent in their predictions, revealing modeling limits
of current architectures.
- Abstract（参考訳）: 自然言語理解(NLU)の最近の進歩により、最新のモデルは、多くの標準的なタスクにおいて、人間のパフォーマンスを上回っている。
これらの印象的な結果によって、コミュニティはデータセットの制限を内省し、より微妙な課題に繰り返した。
本稿では,20,056組のニュース見出しからなる見出しグループ化(hlg)と対応するデータセット(hlgd)のタスクについて紹介する。
HLGDでは、人間のアノテータは0.9F-1のハイパフォーマンスを達成し、現在の最先端のトランスフォーマーモデルは0.75F-1にしか達せず、さらなる改善に向けた道を開く。
さらに,最良教師付きモデルの3F-1以内を達成できるヘッドライングルーピングタスクのための非教師付きヘッドラインジェネレータスワップモデルを提案する。
最後に,一貫性テストを用いて高パフォーマンスモデルを分析し,その予測に一貫性がないことを見出し,現在のアーキテクチャのモデリング限界を明らかにする。
関連論文リスト
- Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens [53.99177152562075]
視覚における自己回帰モデルのスケールアップは、大きな言語モデルほど有益でないことが証明されている。
モデルが離散トークンを使用するか、連続トークンを使用するか、BERTやGPTのようなトランスフォーマーアーキテクチャを用いてランダムまたは固定順序でトークンを生成するか、という2つの重要な要素に焦点を当てる。
その結果,すべてのモデルが検証損失の点で効果的にスケールしているのに対して,評価性能はFID,GenEvalスコア,視覚的品質などによって異なる傾向を呈することがわかった。
論文 参考訳（メタデータ） (2024-10-17T17:59:59Z) - Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。
7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
論文 参考訳（メタデータ） (2024-08-21T09:08:26Z) - No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。
本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
論文 参考訳（メタデータ） (2024-04-04T17:58:02Z) - Large Language Models aren't all that you need [0.0]
本稿では,SemEval 2023 Task 2: MultiCoNER IIを解くために構築されたアーキテクチャとシステムについて述べる。
a)従来のランダムフィールドモデルと(b)カスタマイズされた頭で微調整されたLarge Language Model(LLM)の2つのアプローチを評価し、その2つのアプローチを比較した。
論文 参考訳（メタデータ） (2024-01-01T08:32:50Z) - GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。
このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
論文 参考訳（メタデータ） (2023-06-06T16:16:05Z) - Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models [56.88106830869487]
我々は、(潜在的に非同変な)事前訓練されたモデルを群同変モデルに変換する新しい微調整法である、同調を導入する。
本稿では、画像分類、合成言語における一般化、自然言語生成における公平性という3つの異なるタスクに対する等価チューニングの応用について述べる。
論文 参考訳（メタデータ） (2022-10-13T08:45:23Z) - Score-Based Generative Models for Molecule Generation [0.8808021343665321]
我々は、ZINCデータセットから150万のサンプルを表現したTransformerベースのスコア関数をトレーニングする。
私たちは、Mosesベンチマークフレームワークを使用して、一連のメトリクスで生成されたサンプルを評価します。
論文 参考訳（メタデータ） (2022-03-07T13:46:02Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳（メタデータ） (2021-04-07T17:59:06Z) - Non-Autoregressive Text Generation with Pre-trained Language Models [40.50508206201288]
BERTはNAGモデルのバックボーンとして利用でき、性能を大幅に向上できることを示す。
バニラNAGモデルの2つの共通問題を緩和するメカニズムを考案する。
本稿では,出力長を事前に推定できる新しいデコード戦略である ratio-first を提案する。
論文 参考訳（メタデータ） (2021-02-16T15:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。