論文の概要: LLMs' morphological analyses of complex FST-generated Finnish words

• arxiv url: http://arxiv.org/abs/2407.08269v1
• Date: Thu, 11 Jul 2024 08:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 18:29:17.018694
• Title: LLMs' morphological analyses of complex FST-generated Finnish words
• Title（参考訳）: LLMによる複雑なFST生成フィンランド語の形態解析
• Authors: Anssi Moisio, Mathias Creutz, Mikko Kurimo,
• Abstract要約: この研究は、複雑なフィンランドの名詞形式の形態解析のタスクにおいて、最先端のLLMを評価し、この問題に光を当てることを目的としている。 我々は、FSTツールを用いてフォームを生成し、LLMのトレーニングセットで発生することはありそうにないため、形態的一般化能力を必要とする。 また, GPT-3.5-turbo と Llama2-70B と Poro-34B はほぼ完全に故障している。
• 参考スコア（独自算出の注目度）: 9.645783456246146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rule-based language processing systems have been overshadowed by neural systems in terms of utility, but it remains unclear whether neural NLP systems, in practice, learn the grammar rules that humans use. This work aims to shed light on the issue by evaluating state-of-the-art LLMs in a task of morphological analysis of complex Finnish noun forms. We generate the forms using an FST tool, and they are unlikely to have occurred in the training sets of the LLMs, therefore requiring morphological generalisation capacity. We find that GPT-4-turbo has some difficulties in the task while GPT-3.5-turbo struggles and smaller models Llama2-70B and Poro-34B fail nearly completely.
• Abstract（参考訳）: ルールベースの言語処理システムは、実用性の観点からはニューラルネットワークによって隠蔽されているが、ニューラルネットワークのNLPシステムが実際に人間が使用する文法規則を学ぶかどうかは不明だ。 この研究は、複雑なフィンランドの名詞形式の形態解析のタスクにおいて、最先端のLLMを評価し、この問題に光を当てることを目的としている。 我々は、FSTツールを用いてフォームを生成し、LLMのトレーニングセットで発生することはありそうにないため、形態的一般化能力を必要とする。 また, GPT-3.5-turbo と Llama2-70B と Poro-34B はほぼ完全に故障している。

関連論文リスト

• Negation Blindness in Large Language Models: Unveiling the NO Syndrome in Image Generation [63.064204206220936]
  基礎的な大規模言語モデル(LLM)は、私たちが技術を理解する方法を変えました。 詩の執筆からコーディング、エッセイ生成、パズルの解決まで、様々な課題に長けていることが示されている。 画像生成機能の導入により、より包括的で汎用的なAIツールとなった。 現在特定されている欠陥には、幻覚、偏見、有害なコンテンツを生成するために制限されたコマンドをバイパスすることが含まれる。
  論文  参考訳（メタデータ） (2024-08-27T14:40:16Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of Prompting Strategies [47.129504708849446]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらした。 LLMは体系的な一般化を欠き、学習された統計正則をトレーニング分布の外へ外挿することができる。 本稿では,最も先進的なLCMの1つであるGPT-4の系統的なベンチマークを行う。
  論文  参考訳（メタデータ） (2024-02-27T10:44:52Z)
• Neuro Symbolic Reasoning for Planning: Counterexample Guided Inductive Synthesis using Large Language Models and Satisfiability Solving [23.426866969743525]
  インストラクショントレーニングを備えた生成型大規模言語モデル(LLM)は、プロンプトに対する人間的な応答を生成することができる。 精度が向上したにもかかわらず、これらのモデルは事実的に誤りまたは文脈的に不適切な結果をもたらすことが知られている。 この制限により、これらのモデルを使用して安全クリティカルなアプリケーションで使用される形式的なアーティファクトを合成することが困難になる。
  論文  参考訳（メタデータ） (2023-09-28T13:40:50Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Neural Morphology Dataset and Models for Multiple Languages, from the Large to the Endangered [1.0896567381206714]
  我々は、形態学的に豊かな言語に対する形態解析、生成、補題化のためのニューラルネットワークを訓練する。 本稿では,22言語を対象に,FSTからかなりの量のトレーニングデータを自動抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-05-26T09:35:38Z)
• Trojaning Language Models for Fun and Profit [53.45727748224679]
  TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。 セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-08-01T18:22:38Z)
• Unsupervised Morphological Paradigm Completion [26.318483685612765]
  原文と補題リストのみを与えられたタスクは、全ての屈折形の形態的パラダイム、すなわち、補題を生成することで構成される。 i) EDIT TREE検索, (ii) 補題検索, (iii) パラダイムサイズ発見, (iv) インフレクション生成。 我々のシステムは自明なベースラインを軽快に上回り、一部の言語では最小限の教師付きシステムよりも高い精度が得られる。
  論文  参考訳（メタデータ） (2020-05-03T02:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。