Fugu-MT 論文翻訳(概要): AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization

論文の概要: AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization

arxiv url: http://arxiv.org/abs/2407.11591v3
Date: Fri, 11 Oct 2024 09:23:43 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 21:10:26.166661
Title: AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization
Title（参考訳）: AdaptEval: テキスト要約のためのドメイン適応に基づく大規模言語モデルの評価
Authors: Anum Afzal, Ribin Chalumattu, Florian Matthes, Laura Mascarell,
Abstract要約: 本研究では,多言語モデル(LLM)のドメイン適応能力について,各ドメイン間の要約タスクで評価する。本稿では、最初のドメイン適応評価スイートであるAdaptEvalを紹介する。
参考スコア（独自算出の注目度）: 4.07484910093752
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite the advances in the abstractive summarization task using Large Language Models (LLM), there is a lack of research that asses their abilities to easily adapt to different domains. We evaluate the domain adaptation abilities of a wide range of LLMs on the summarization task across various domains in both fine-tuning and in-context learning settings. We also present AdaptEval, the first domain adaptation evaluation suite. AdaptEval includes a domain benchmark and a set of metrics to facilitate the analysis of domain adaptation. Our results demonstrate that LLMs exhibit comparable performance in the in-context learning setting, regardless of their parameter scale.
Abstract（参考訳）: LLM(Large Language Models)を用いた抽象的な要約タスクの進歩にもかかわらず、異なるドメインに容易に適応できる能力を評価する研究が不足している。各種ドメイン間の要約タスクにおいて,様々なLLMのドメイン適応能力について,微調整と文脈内学習の両方で評価する。また、最初のドメイン適応評価スイートであるAdaptEvalも紹介する。 AdaptEvalには、ドメイン適応の分析を容易にするための、ドメインベンチマークとメトリクスのセットが含まれている。この結果から,LLMはパラメータスケールに関係なく,文脈内学習環境において同等の性能を示すことが示された。

関連論文リスト

R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
論文参考訳（メタデータ） (2024-06-17T15:59:49Z)
Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
論文参考訳（メタデータ） (2024-05-09T02:00:07Z)
Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
論文参考訳（メタデータ） (2024-04-10T16:44:11Z)
Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning [48.22913073217633]
大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
論文参考訳（メタデータ） (2023-11-20T06:06:20Z)
Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
論文参考訳（メタデータ） (2023-07-21T14:37:17Z)
Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
論文参考訳（メタデータ） (2023-05-23T18:01:49Z)
Internal Language Model Estimation based Adaptive Language Model Fusion for Domain Adaptation [12.239557608053156]
内部言語モデル推定に基づく適応的ドメイン適応(ILME-ADA)と呼ばれる適応的LM融合手法を提案する。本稿では、ニューラルネットワークとn-gram LMをEMMとして用いたRNN-TおよびLASモデリングフレームワークを用いたILME-ADA法の有効性を、2つのドメイン固有(ターゲット)テストセットで示す。
論文参考訳（メタデータ） (2022-11-02T09:15:20Z)
VarMAE: Pre-training of Variational Masked Autoencoder for Domain-adaptive Language Understanding [5.1282202633907]
本稿では,ドメイン適応型言語理解のためのトランスフォーマーベース言語モデルであるVarMAEを提案する。マスク付き自動符号化の目的のもと,トークンのコンテキストをスムーズな潜伏分布に符号化するコンテキスト不確実性学習モジュールを設計する。科学および金融分野におけるNLUタスクの実験は、VarMAEが限られたリソースを持つ新しいドメインに効率的に適応できることを実証している。
論文参考訳（メタデータ） (2022-11-01T12:51:51Z)
KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
論文参考訳（メタデータ） (2022-04-22T08:11:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。