論文の概要: Maverick: Efficient and Accurate Coreference Resolution Defying Recent Trends

• arxiv url: http://arxiv.org/abs/2407.21489v1
• Date: Wed, 31 Jul 2024 09:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 18:12:32.110602
• Title: Maverick: Efficient and Accurate Coreference Resolution Defying Recent Trends
• Title（参考訳）: Maverick: 最近のトレンドを定義した効率的で正確な参照解決
• Authors: Giuliano Martinelli, Edoardo Barba, Roberto Navigli,
• Abstract要約: 大規模な自己回帰生成モデルは、いくつかの自然言語処理タスクで最高のパフォーマンスを達成するための基盤として現れてきた。 学術予算の制約の中で最先端のCoreference Resolutionシステムを実行可能にするパイプラインであるMaverickを紹介します。 MaverickはCoNLL-2012ベンチマークで最先端のパフォーマンスを達成し、最大0.006倍のメモリリソースをトレーニングし、従来の最先端システムと比較して170倍高速な推論が得られる。
• 参考スコア（独自算出の注目度）: 49.68011233558541
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large autoregressive generative models have emerged as the cornerstone for achieving the highest performance across several Natural Language Processing tasks. However, the urge to attain superior results has, at times, led to the premature replacement of carefully designed task-specific approaches without exhaustive experimentation. The Coreference Resolution task is no exception; all recent state-of-the-art solutions adopt large generative autoregressive models that outperform encoder-based discriminative systems. In this work,we challenge this recent trend by introducing Maverick, a carefully designed - yet simple - pipeline, which enables running a state-of-the-art Coreference Resolution system within the constraints of an academic budget, outperforming models with up to 13 billion parameters with as few as 500 million parameters. Maverick achieves state-of-the-art performance on the CoNLL-2012 benchmark, training with up to 0.006x the memory resources and obtaining a 170x faster inference compared to previous state-of-the-art systems. We extensively validate the robustness of the Maverick framework with an array of diverse experiments, reporting improvements over prior systems in data-scarce, long-document, and out-of-domain settings. We release our code and models for research purposes at https://github.com/SapienzaNLP/maverick-coref.
• Abstract（参考訳）: 大規模な自己回帰生成モデルは、いくつかの自然言語処理タスクで最高のパフォーマンスを達成するための基盤として現れてきた。 しかし、優れた結果を得るという衝動は、時には、徹底的な実験をせずに、慎重に設計されたタスク固有のアプローチを早期に置き換えることにつながった。 コア参照解決タスクは例外ではなく、最新の最先端ソリューションはすべて、エンコーダベースの識別システムを上回る大きな生成自己回帰モデルを採用している。 これは、学術予算の制約の中で最先端のCoreference Resolutionシステムを実行可能にするもので、最大13億のパラメータを持つモデルと5億のパラメータしか持たない。 MaverickはCoNLL-2012ベンチマークで最先端のパフォーマンスを達成し、最大0.006倍のメモリリソースをトレーニングし、従来の最先端システムと比較して170倍高速な推論が得られる。 我々は、データスカース、長期ドキュメント、ドメイン外設定における以前のシステムに対する改善を報告し、様々な実験を行い、Maverickフレームワークの堅牢性を広範囲に検証する。 コードとモデルは、https://github.com/SapienzaNLP/maverick-coref.comで公開しています。

関連論文リスト

• Selective Task offloading for Maximum Inference Accuracy and Energy efficient Real-Time IoT Sensing Systems [3.0748861313823]
  多次元クナップサック問題の解法として,軽量ハイブリッド遺伝的アルゴリズム(LGSTO)を提案する。 実験の結果,LGSTOは最高速のスキームよりも3倍高速であった。
  論文  参考訳（メタデータ） (2024-02-24T18:46:06Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• How to train your draGAN: A task oriented solution to imbalanced classification [15.893327571516016]
  本稿では,新しいアーキテクチャであるdraGANを用いた,ユニークでパフォーマンスを重視したデータ生成戦略を提案する。 サンプルは、実際のデータと類似性ではなく、分類モデルの性能を最適化する目的で生成される。 経験的に、draGANの優位性を示すと同時に、いくつかの欠点も強調する。
  論文  参考訳（メタデータ） (2022-11-18T07:37:34Z)
• No Parameter Left Behind: How Distillation and Model Size Affect Zero-Shot Retrieval [4.712097135437801]
  本稿では,検索モデルの一般化能力において,パラメータの数と初期クエリ文書間相互作用が重要な役割を担っていることを示す。 実験の結果, モデルサイズの増加はドメイン内テストセットの限界ゲインをもたらすが, ファインチューニング中に見つからなかった新しいドメインでは, はるかに大きなゲインが得られることがわかった。 我々の最大のリランカーは、ベンチマーク-IR(BEIR)の18のデータセットのうち12の領域で最先端に到達し、これまでの最先端を平均3ポイント上回っている。
  論文  参考訳（メタデータ） (2022-06-06T19:56:14Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。