論文の概要: Constituency Parsing using LLMs
- arxiv url: http://arxiv.org/abs/2310.19462v2
- Date: Tue, 31 Oct 2023 07:19:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 20:35:01.784179
- Title: Constituency Parsing using LLMs
- Title(参考訳): LLMを用いた地域パーシング
- Authors: Xuefeng Bai, Jialong Wu, Yulong Chen, Zhongqing Wang, Yue Zhang
- Abstract要約: 選挙区解析は基本的だが未解決の自然言語処理タスクである。
出力木を記号列に変換するために3つの線形化戦略を用いており、LLMは線形化木を生成することで領域解析を解くことができる。
本研究では, LLMの性能, 一般化能力, 選挙区解析における課題について考察した。
- 参考スコア(独自算出の注目度): 22.932447078664232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Constituency parsing is a fundamental yet unsolved natural language
processing task. In this paper, we explore the potential of recent large
language models (LLMs) that have exhibited remarkable performance across
various domains and tasks to tackle this task. We employ three linearization
strategies to transform output trees into symbol sequences, such that LLMs can
solve constituency parsing by generating linearized trees. We conduct
experiments using a diverse range of LLMs, including ChatGPT, GPT-4, OPT,
LLaMA, and Alpaca, comparing their performance against the state-of-the-art
constituency parsers. Our experiments encompass zero-shot, few-shot, and
full-training learning settings, and we evaluate the models on one in-domain
and five out-of-domain test datasets. Our findings reveal insights into LLMs'
performance, generalization abilities, and challenges in constituency parsing.
- Abstract(参考訳): 構成構文解析は、基本だが未解決の自然言語処理タスクである。
本稿では,近年の大規模言語モデル (LLM) の可能性について検討する。
3つの線形化戦略を用いて出力木をシンボル列に変換することにより,llmは線形木を生成することで構成解析を解決できる。
我々はChatGPT, GPT-4, OPT, LLaMA, Alpacaを含む多種多様なLCMを用いて実験を行い, その性能を最先端の選挙区パーサーと比較した。
実験はゼロショット、少数ショット、フルトレーニングの学習設定を包含し、1つのドメイン内および5つのドメイン外テストデータセットでモデルを評価する。
本研究では, LLMの性能, 一般化能力, 選挙区解析における課題について考察した。
関連論文リスト
- Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。
語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。
EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
論文 参考訳(メタデータ) (2024-04-15T06:28:20Z) - Can we obtain significant success in RST discourse parsing by using
Large Language Models? [32.94244684710954]
デコーダのみの大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクに大きな影響を与えている。
本稿では,LLMがRST(Rhetorical Structure Theory)の言論解析にいかに有用かを検討する。
RST-DT, Instr-DT, GUMコーパスの3つのベンチマークデータセットによる実験結果から, ボトムアップ戦略に700億のパラメータを持つLlama 2が, 有意な差を示した。
論文 参考訳(メタデータ) (2024-03-08T05:34:29Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Can LLMs perform structured graph reasoning? [4.676784872259775]
LLM(Pretrained Large Language Models)は、言語ベースのプロンプトだけで様々な推論能力を示す。
本稿では,半構造化タスクのプロキシとして,様々なグラフ推論タスクを設計する。
上記の課題に対して,5種類のインストラクト微細化LDM (GPT-4, GPT-3.5, Claude-2, Llama-2, Palm-2) をベンチマークした。
論文 参考訳(メタデータ) (2024-02-02T09:45:33Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - Benchmarking Generation and Evaluation Capabilities of Large Language
Models for Instruction Controllable Summarization [136.18825814573208]
命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。
本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
論文 参考訳(メタデータ) (2023-11-15T18:25:26Z) - Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
計算的議論に関する研究は、主に議論マイニングと議論生成の2つのタイプのタスクを含む。
大規模言語モデルは、文脈を理解し、自然言語を生成する強力な能力を示している。
既存のタスクを6つの主要なカテゴリに分類し、14のオープンソースデータセットのフォーマットを標準化します。
さらに,LLMのエンドツーエンド性能を総合的に評価することを目的とした,対向音声生成のための新しいベンチマークデータセットを提案する。
論文 参考訳(メタデータ) (2023-11-15T15:12:15Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Alphazero-like Tree-Search can Guide Large Language Model Decoding and
Training [37.79247073276239]
ToT(Tree-of-Thought)やRAP(Reasoning via Planning)といった最近の研究は、LLMの推論能力を強化することを目的としている。
LLMのためのAlphaZeroライクな木探索学習フレームワーク(TS-LLM)を提案する。
学習価値関数を用いた木探索がLLM復号を導出する方法を示す。
論文 参考訳(メタデータ) (2023-09-29T12:20:19Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳(メタデータ) (2023-03-09T06:24:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。