論文の概要: LLM-enhanced Self-training for Cross-domain Constituency Parsing

• arxiv url: http://arxiv.org/abs/2311.02660v1
• Date: Sun, 5 Nov 2023 14:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 16:28:11.965543
• Title: LLM-enhanced Self-training for Cross-domain Constituency Parsing
• Title（参考訳）: LLMによるクロスドメイン領域の自己学習
• Authors: Jianling Li, Meishan Zhang, Peiming Guo, Min Zhang, Yue Zhang
• Abstract要約: 本稿では,大規模言語モデル(LLM)による自己学習の強化を提案し,ドメイン固有の生コーパスを反復的に生成する。 選挙区構文解析では,LLMが生コーパスを生成する際の文法規則を導入し,擬似インスタンスの選択基準を確立する。
• 参考スコア（独自算出の注目度）: 41.56908438488128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training has proven to be an effective approach for cross-domain tasks, and in this study, we explore its application to cross-domain constituency parsing. Traditional self-training methods rely on limited and potentially low-quality raw corpora. To overcome this limitation, we propose enhancing self-training with the large language model (LLM) to generate domain-specific raw corpora iteratively. For the constituency parsing, we introduce grammar rules that guide the LLM in generating raw corpora and establish criteria for selecting pseudo instances. Our experimental results demonstrate that self-training for constituency parsing, equipped with an LLM, outperforms traditional methods regardless of the LLM's performance. Moreover, the combination of grammar rules and confidence criteria for pseudo-data selection yields the highest performance in the cross-domain constituency parsing.
• Abstract（参考訳）: 自己学習はクロスドメインタスクに効果的なアプローチであることが証明されており,本研究はクロスドメイン構成構文解析への応用を検討する。 従来のセルフトレーニング手法は、限定的で潜在的に低品質な生コーパスに依存している。 この制限を克服するため、我々は大規模言語モデル(LLM)による自己学習の強化を提案し、ドメイン固有の生コーパスを反復的に生成する。 選挙区構文解析では,LLMが生コーパスを生成する際の文法規則を導入し,擬似インスタンスの選択基準を確立する。 実験結果から, LLMを内蔵した選挙区構文解析のための自己学習は, LLMの性能に関わらず従来の手法よりも優れていることが示された。 さらに、疑似データ選択における文法規則と信頼基準の組み合わせは、クロスドメイン選挙区解析における最高の性能をもたらす。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• LLM-Powered Preference Elicitation in Combinatorial Assignment [17.367432304040662]
  提案手法は,大規模言語モデル(LLM)を人為的プロキシとして活用し,課題における選好選択(PE)を簡素化するものである。 本稿では,SOTA ML を用いた嗜好推論方式と併用して動作する LLM プロキシのフレームワークを提案する。 コース割当て領域における人間の問合せに対するLLMプロキシの有効性を実験的に評価した。
  論文  参考訳（メタデータ） (2025-02-14T17:12:20Z)
• BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition [12.57768435856206]
  本稿では,Few-Shot Named Entity Recognition のための境界認識 LLM という手法を提案する。 一般化されたエンティティスパンに対するエンティティ境界を知覚するLLMの能力を高めるために,境界対応のコントラスト学習戦略を導入する。 ターゲットドメインからソースドメインに情報をアライメントするためにLoRAHubを使用し、適応型クロスドメイン分類機能を強化する。
  論文  参考訳（メタデータ） (2024-12-03T07:51:14Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
  文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。 既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。 本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:30:48Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Constituency Parsing using LLMs [22.932447078664232]
  選挙区解析は基本的だが未解決の自然言語処理タスクである。 出力木を記号列に変換するために3つの線形化戦略を用いており、LLMは線形化木を生成することで領域解析を解くことができる。 本研究では, LLMの性能, 一般化能力, 選挙区解析における課題について考察した。
  論文  参考訳（メタデータ） (2023-10-30T11:39:11Z)
• Self-training through Classifier Disagreement for Cross-Domain Opinion Target Extraction [62.41511766918932]
  オピニオンターゲット抽出(OTE)またはアスペクト抽出(AE)は意見マイニングの基本的な課題である。 最近の研究は、現実世界のシナリオでよく見られるクロスドメインのOTEに焦点を当てている。 そこで本稿では,ドメイン固有の教師と学生のネットワークから出力されるモデルが未学習のターゲットデータと一致しない対象サンプルを選択するためのSSLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。