論文の概要: Efficient Argument Structure Extraction with Transfer Learning and Active Learning

• arxiv url: http://arxiv.org/abs/2204.00707v1
• Date: Fri, 1 Apr 2022 22:08:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 14:07:07.334718
• Title: Efficient Argument Structure Extraction with Transfer Learning and Active Learning
• Title（参考訳）: 伝達学習と能動学習による効率的なArgument構造抽出
• Authors: Xinyu Hua and Lu Wang
• Abstract要約: 本稿では,新しい文脈対応トランスフォーマーに基づく引数構造予測モデルを提案する。 機能に依存したり、限られたコンテキストをエンコードするモデルよりもはるかに優れています。 以上の結果から, 単純かつ有効な買収戦略が, 3つの強力な比較結果と競合する結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 13.95267679486128
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The automation of extracting argument structures faces a pair of challenges on (1) encoding long-term contexts to facilitate comprehensive understanding, and (2) improving data efficiency since constructing high-quality argument structures is time-consuming. In this work, we propose a novel context-aware Transformer-based argument structure prediction model which, on five different domains, significantly outperforms models that rely on features or only encode limited contexts. To tackle the difficulty of data annotation, we examine two complementary methods: (i) transfer learning to leverage existing annotated data to boost model performance in a new target domain, and (ii) active learning to strategically identify a small amount of samples for annotation. We further propose model-independent sample acquisition strategies, which can be generalized to diverse domains. With extensive experiments, we show that our simple-yet-effective acquisition strategies yield competitive results against three strong comparisons. Combined with transfer learning, substantial F1 score boost (5-25) can be further achieved during the early iterations of active learning across domains.
• Abstract（参考訳）: 議論構造抽出の自動化は,(1)長期的文脈の符号化による包括的理解の促進,(2)高品質な議論構造の構築に要するデータ効率の向上という課題に直面する。 本稿では,5つの異なる領域において,特徴に依存するか限定された文脈のみをエンコードするモデルを大幅に上回る,新しい文脈認識トランスベース引数構造予測モデルを提案する。 データアノテーションの難しさに対処するため,2つの補完手法を検討した。 (i)新しい対象領域におけるモデル性能を高めるために既存の注釈データを活用するための転送学習 (II) 注釈のための少量のサンプルを戦略的に識別する能動的学習。 さらに,多様な領域に一般化できるモデル非依存なサンプル取得戦略を提案する。 広範にわたる実験により,本手法は3つの強力な比較結果と競合する結果をもたらすことを示す。 転送学習と組み合わせることで、ドメイン間のアクティブラーニングの初期イテレーションにおいて、実質的なF1スコアアップ(5-25)がさらに達成される。

関連論文リスト

• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
  トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。 これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。 我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
  論文  参考訳（メタデータ） (2023-12-28T11:39:08Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Curriculum-Guided Abstractive Summarization [45.57561926145256]
  最近のTransformerベースの要約モデルは、抽象的な要約に有望なアプローチを提供してきた。 これらのモデルには2つの欠点がある:(1)コンテンツ選択が不十分な場合が多く、(2)トレーニング戦略があまり効率的ではないため、モデルの性能が制限される。 本稿では,これらの落とし穴を補うための2つの方法について検討する。まず,デコーダ内に文のクロスアテンションモジュールを配置することでトランスフォーマーネットワークを拡張し,より健全なコンテンツの抽象化を促進する。
  論文  参考訳（メタデータ） (2023-02-02T11:09:37Z)
• Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining? [25.43442712037725]
  本稿では,教師なし,議論型対話型知識の課題を克服するために,新しい伝達学習戦略を提案する。 本研究では,ChangeMyViewのサブレディットからの議論に富んだ社会的な議論を,教師なしの議論型知識の源泉として活用する。 本稿では,提案手法を補完する,コンポーネント間関係予測のための新しいプロンプトベースの戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-24T06:48:56Z)
• Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
  トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。 我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。 本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-06-09T22:15:41Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Generative Adversarial Networks for Annotated Data Augmentation in Data Sparse NLU [0.76146285961466]
  データスパーシティは、自然言語理解におけるモデル開発に関連する重要な課題の1つです。 GAN (Sequence Generative Adversarial Network) を用いたトレーニングデータ拡張によるNLUモデルの性能向上について報告する。 本実験により, 逐次生成逆数ネットワークを用いて生成した合成データにより, 複数の指標間で大きな性能向上が得られた。
  論文  参考訳（メタデータ） (2020-12-09T20:38:17Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。