論文の概要: LLM-enhanced Self-training for Cross-domain Constituency Parsing

• arxiv url: http://arxiv.org/abs/2311.02660v1
• Date: Sun, 5 Nov 2023 14:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 16:28:11.965543
• Title: LLM-enhanced Self-training for Cross-domain Constituency Parsing
• Title（参考訳）: LLMによるクロスドメイン領域の自己学習
• Authors: Jianling Li, Meishan Zhang, Peiming Guo, Min Zhang, Yue Zhang
• Abstract要約: 本稿では,大規模言語モデル(LLM)による自己学習の強化を提案し,ドメイン固有の生コーパスを反復的に生成する。 選挙区構文解析では,LLMが生コーパスを生成する際の文法規則を導入し,擬似インスタンスの選択基準を確立する。
• 参考スコア（独自算出の注目度）: 41.56908438488128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training has proven to be an effective approach for cross-domain tasks, and in this study, we explore its application to cross-domain constituency parsing. Traditional self-training methods rely on limited and potentially low-quality raw corpora. To overcome this limitation, we propose enhancing self-training with the large language model (LLM) to generate domain-specific raw corpora iteratively. For the constituency parsing, we introduce grammar rules that guide the LLM in generating raw corpora and establish criteria for selecting pseudo instances. Our experimental results demonstrate that self-training for constituency parsing, equipped with an LLM, outperforms traditional methods regardless of the LLM's performance. Moreover, the combination of grammar rules and confidence criteria for pseudo-data selection yields the highest performance in the cross-domain constituency parsing.
• Abstract（参考訳）: 自己学習はクロスドメインタスクに効果的なアプローチであることが証明されており,本研究はクロスドメイン構成構文解析への応用を検討する。 従来のセルフトレーニング手法は、限定的で潜在的に低品質な生コーパスに依存している。 この制限を克服するため、我々は大規模言語モデル(LLM)による自己学習の強化を提案し、ドメイン固有の生コーパスを反復的に生成する。 選挙区構文解析では,LLMが生コーパスを生成する際の文法規則を導入し,擬似インスタンスの選択基準を確立する。 実験結果から, LLMを内蔵した選挙区構文解析のための自己学習は, LLMの性能に関わらず従来の手法よりも優れていることが示された。 さらに、疑似データ選択における文法規則と信頼基準の組み合わせは、クロスドメイン選挙区解析における最高の性能をもたらす。

関連論文リスト

• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs [1.515687944002438]
  テキストペアの不確実性を測定するための類似性特徴を求めるモジュールであるContrastive Semantic similarityを提案する。 我々は,3つの大規模言語モデル (LLM) を用いて,複数のベンチマーク質問応答データセットについて広範な実験を行った。 提案手法は,LLMの信頼性の高い応答を,同等のベースラインよりも高い精度で推定できることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:35:44Z)
• P-ICL: Point In-Context Learning for Named Entity Recognition with Large Language Models [7.037794031385439]
  近年,大規模な言語モデル (LLM) の台頭により,実演サンプルを使わずに名前付きエンティティ認識 (NER) を直接実現できるようになった。 標準ICLは、LLMがタスク命令、フォーマット、入力ラベルマッピングを理解するのにのみ役立つが、NERタスク自体の特異性を無視する。 LLMでNERをよりよく実現するための新しいプロンプトフレームワークであるP-ICLを提案する。
  論文  参考訳（メタデータ） (2024-05-08T11:01:21Z)
• Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
  教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。 我々はこの仮説を言語間タスクの範囲内で批判的に検証する。 タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-04-25T17:19:36Z)
• Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
  文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。 既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。 本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:30:48Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Constituency Parsing using LLMs [22.932447078664232]
  選挙区解析は基本的だが未解決の自然言語処理タスクである。 出力木を記号列に変換するために3つの線形化戦略を用いており、LLMは線形化木を生成することで領域解析を解くことができる。 本研究では, LLMの性能, 一般化能力, 選挙区解析における課題について考察した。
  論文  参考訳（メタデータ） (2023-10-30T11:39:11Z)
• Self-training through Classifier Disagreement for Cross-Domain Opinion Target Extraction [62.41511766918932]
  オピニオンターゲット抽出(OTE)またはアスペクト抽出(AE)は意見マイニングの基本的な課題である。 最近の研究は、現実世界のシナリオでよく見られるクロスドメインのOTEに焦点を当てている。 そこで本稿では,ドメイン固有の教師と学生のネットワークから出力されるモデルが未学習のターゲットデータと一致しない対象サンプルを選択するためのSSLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。