論文の概要: Detection, Disambiguation, Re-ranking: Autoregressive Entity Linking as a Multi-Task Problem

• arxiv url: http://arxiv.org/abs/2204.05990v1
• Date: Tue, 12 Apr 2022 17:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 13:07:18.302274
• Title: Detection, Disambiguation, Re-ranking: Autoregressive Entity Linking as a Multi-Task Problem
• Title（参考訳）: 検出・曖昧化・再分類:マルチタスク問題としての自己回帰エンティティリンク
• Authors: Khalil Mrini, Shaoliang Nie, Jiatao Gu, Sinong Wang, Maziar Sanjabi, Hamed Firooz
• Abstract要約: 本稿では,2つの補助的なタスクで訓練された自己回帰エンティティリンクモデルを提案する。 我々は,2つの補助課題のそれぞれがパフォーマンスを向上し,再ランク付けが増加の重要な要因であることをアブレーション研究を通して示す。
• 参考スコア（独自算出の注目度）: 46.028180604304985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an autoregressive entity linking model, that is trained with two auxiliary tasks, and learns to re-rank generated samples at inference time. Our proposed novelties address two weaknesses in the literature. First, a recent method proposes to learn mention detection and then entity candidate selection, but relies on predefined sets of candidates. We use encoder-decoder autoregressive entity linking in order to bypass this need, and propose to train mention detection as an auxiliary task instead. Second, previous work suggests that re-ranking could help correct prediction errors. We add a new, auxiliary task, match prediction, to learn re-ranking. Without the use of a knowledge base or candidate sets, our model sets a new state of the art in two benchmark datasets of entity linking: COMETA in the biomedical domain, and AIDA-CoNLL in the news domain. We show through ablation studies that each of the two auxiliary tasks increases performance, and that re-ranking is an important factor to the increase. Finally, our low-resource experimental results suggest that performance on the main task benefits from the knowledge learned by the auxiliary tasks, and not just from the additional training data.
• Abstract（参考訳）: 2つの補助タスクで訓練し,生成したサンプルの再ランク付けを学習する自己回帰型エンティティリンクモデルを提案する。 我々の新案は文学の弱点を2つ取り上げている。 まず、参照検出とエンティティ候補の選択を学習する手法を提案するが、事前に定義された候補集合に依存する。 我々は,このニーズを回避すべく,エンコーダ・デコーダ自己回帰エンティティリンクを用い,その代わりに注意点検出を補助タスクとして訓練する。 第2に、以前の研究は、再ランク付けが予測エラーの修正に役立つことを示唆している。 再ランキングを学ぶために、新しい補助タスク、予測マッチングを追加します。 バイオメディカルドメインのCOMETAとニュースドメインのAIDA-CoNLLという,エンティティリンクのベンチマークデータセットに,知識ベースや候補セットを使わずに新たな技術状態を設定する。 アブレーション研究により,2つの補助タスクのそれぞれが性能を増加させ,再ランキングが増加の重要な要因であることを示した。 最後に,低リソースな実験結果から,メインタスクのパフォーマンスは,追加のトレーニングデータだけでなく,補助タスクから得られる知識によっても有益であることが示唆された。

関連論文リスト

• Task-Driven Exploration: Decoupling and Inter-Task Feedback for Joint Moment Retrieval and Highlight Detection [7.864892339833315]
  本稿では,共同モーメント検索とハイライト検出のためのタスク駆動型トップダウンフレームワークを提案する。 このフレームワークはタスク固有の共通表現をキャプチャするタスク分離ユニットを導入している。 QVHighlights、TVSum、Charades-STAデータセットに関する総合的な実験と詳細なアブレーション研究は、提案フレームワークの有効性と柔軟性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-04-14T14:06:42Z)
• List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
  本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-02-05T06:52:53Z)
• Divide and Conquer: Hybrid Pre-training for Person Search [40.13016375392472]
  本研究では,サブタスクデータのみを用いた人物検索のためのハイブリッド事前学習フレームワークを提案する。 我々のモデルは、人物探索法、微調整データ、事前学習データ、モデルバックボーンなど、多様なプロトコルで大幅に改善できる。 私たちのコードと事前訓練されたモデルは、人検索コミュニティにプラグイン・アンド・プレイの使用のためにリリースされます。
  論文  参考訳（メタデータ） (2023-12-13T08:33:50Z)
• Neural Coreference Resolution based on Reinforcement Learning [53.73316523766183]
  コアレゾリューションシステムは2つのサブタスクを解決する必要がある。 ひとつのタスクは、潜在的な言及のすべてを検出することであり、もう1つは、可能な言及ごとに前者のリンクを学習することである。 本稿では,アクターをベースとした強化学習型ニューラルコア参照分解システムを提案する。
  論文  参考訳（メタデータ） (2022-12-18T07:36:35Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks [0.0]
  最近の少数ショット学習の研究は、学習された表現の質が少数ショット分類のパフォーマンスにおいて重要な役割を果たしていることを示しています。 一方,自己教師付き学習の目標は,クラスラベルを使わずにデータの有用な意味情報を復元することである。 我々は,最近の自己教師あり手法を補助タスクとして利用するマルチタスクフレームワークを用いて,両パラダイムの相補性を活用する。
  論文  参考訳（メタデータ） (2021-01-24T23:21:43Z)
• Curriculum-Meta Learning for Order-Robust Continual Relation Extraction [12.494209368988253]
  連続的な関係抽出の課題に取り組むための新しいカリキュラムメタ学習方法を提案する。 メタ学習とカリキュラム学習を組み合わせて、モデルパラメータを新しいタスクに迅速に適応させる。 与えられたモデルの順序感度の程度を定量的に測定する難易度に基づく新しい指標を提案する。
  論文  参考訳（メタデータ） (2021-01-06T08:52:34Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
  本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。 この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。 簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
  論文  参考訳（メタデータ） (2020-07-01T19:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。