論文の概要: Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)

• arxiv url: http://arxiv.org/abs/2402.17608v1
• Date: Tue, 27 Feb 2024 15:34:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 15:46:20.154874
• Title: Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)
• Title（参考訳）: 言語知識はエンコーダ-デコーダモデルを強化する(許せば)
• Authors: Alessio Miaschi, Felice Dell'Orletta, Giulia Venturi
• Abstract要約: 文の構造的言語特性を予測する中間タスクにおけるT5モデルの微調整が,文レベルの複雑さを予測する目的タスクの性能を変化させるかどうかを検討する。 言語と言語間構成の両方で得られた結果は、言語的に動機付けられた中間微調整が、特により小さなモデルや限られたデータ可用性を持つシナリオに適用した場合、一般的に目標タスクのパフォーマンスにプラスの影響を及ぼすことを示している。
• 参考スコア（独自算出の注目度）: 2.6150740794754155
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we explore the impact of augmenting pre-trained Encoder-Decoder models, specifically T5, with linguistic knowledge for the prediction of a target task. In particular, we investigate whether fine-tuning a T5 model on an intermediate task that predicts structural linguistic properties of sentences modifies its performance in the target task of predicting sentence-level complexity. Our study encompasses diverse experiments conducted on Italian and English datasets, employing both monolingual and multilingual T5 models at various sizes. Results obtained for both languages and in cross-lingual configurations show that linguistically motivated intermediate fine-tuning has generally a positive impact on target task performance, especially when applied to smaller models and in scenarios with limited data availability.
• Abstract（参考訳）: 本稿では,学習済みエンコーダ・デコーダモデル,特にT5を,対象タスクの予測のための言語知識で拡張する影響について検討する。 特に、文の構造的言語特性を予測する中間タスクにおけるT5モデルの微調整が、文レベルの複雑さを予測する目的タスクの性能を変化させるかどうかを検討する。 本研究は,多言語t5モデルと単言語t5モデルを用いて,イタリア語と英語のデータセット上で多種多様な実験を行った。 その結果、言語的動機づけのある中間的微調整は、通常、対象のタスクパフォーマンス、特により小さなモデルやデータ可用性の少ないシナリオに適用した場合に、ポジティブな影響を与えていることがわかった。

関連論文リスト

• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Multilingual Sentence-T5: Scalable Sentence Encoders for Multilingual Applications [4.240899165468488]
  NLIに基づく多言語文埋め込みのモデルとして,Multilingual Sentence T5(m-ST5)を導入する。 低ランク適応(LoRA)技術を用いることで、モデルのサイズを570億のパラメータに拡張することに成功した。 特に、リソースが少ない言語や、英語との言語的類似性が低い言語は、パラメータの増加の恩恵を受けていた。
  論文  参考訳（メタデータ） (2024-03-26T09:31:55Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Multi Task Learning For Zero Shot Performance Prediction of Multilingual Models [12.759281077118567]
  多言語トランスフォーマーに基づく言語モデルは、言語間のゼロショット転送において驚くほど効果的であることが観察されている。 我々は,タスク上のゼロショット性能をマルチタスク学習問題としてモデル化することにより,タスク上のゼロショット性能を予測するための既存の手法を構築した。
  論文  参考訳（メタデータ） (2022-05-12T14:47:03Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain [22.846469609263416]
  事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。 本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。 本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
  論文  参考訳（メタデータ） (2021-12-16T10:07:39Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• On the Multilingual Capabilities of Very Large-Scale English Language Models [0.0]
  GPT(Generative Pre-trained Transformer)は、機械学習の歴史において、前例のない規模に拡張されている。 本研究では,GPT-3の多言語的スキルについて検討し,事前学習用コーパスであるカタルーニャ語にはほとんど現れない1つの言語に着目した。 このモデルでは、特に生成タスクにおいて、主に言語理解タスクでは予測可能な制限があるが、ゼロショットシナリオでは顕著な結果が得られる。
  論文  参考訳（メタデータ） (2021-08-30T16:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。