論文の概要: Verbing Weirds Language (Models): Evaluation of English Zero-Derivation in Five LLMs

• arxiv url: http://arxiv.org/abs/2403.17856v1
• Date: Tue, 26 Mar 2024 16:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 14:27:54.655902
• Title: Verbing Weirds Language (Models): Evaluation of English Zero-Derivation in Five LLMs
• Title（参考訳）: 動詞ワイド言語(モデル):5つのLLMにおける英語ゼロ微分の評価
• Authors: David R. Mortensen, Valentina Izrailevitch, Yunze Xiao, Hinrich Schütze, Leonie Weissweiler,
• Abstract要約: 本稿では,変換に関する大規模言語モデルの振る舞いに関する最初の研究を報告する。 本研究では,モデルが音声の非典型的部分を持つ構成において,単語よりも一般化できる程度をテストするタスクを設計する。 GPT-4 は GPT-3.5 に次いでタスク上で最高の性能を発揮するが,オープンソースの言語モデルでもそれを実現することができる。
• 参考スコア（独自算出の注目度）: 45.906366638174624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexical-syntactic flexibility, in the form of conversion (or zero-derivation) is a hallmark of English morphology. In conversion, a word with one part of speech is placed in a non-prototypical context, where it is coerced to behave as if it had a different part of speech. However, while this process affects a large part of the English lexicon, little work has been done to establish the degree to which language models capture this type of generalization. This paper reports the first study on the behavior of large language models with reference to conversion. We design a task for testing lexical-syntactic flexibility -- the degree to which models can generalize over words in a construction with a non-prototypical part of speech. This task is situated within a natural language inference paradigm. We test the abilities of five language models -- two proprietary models (GPT-3.5 and GPT-4), three open-source models (Mistral 7B, Falcon 40B, and Llama 2 70B). We find that GPT-4 performs best on the task, followed by GPT-3.5, but that the open source language models are also able to perform it and that the 7B parameter Mistral displays as little difference between its baseline performance on the natural language inference task and the non-prototypical syntactic category task, as the massive GPT-4.
• Abstract（参考訳）: レキシカル・シンタクティック・フレキシビリティ(英: Lexical-syntactic flexible)は、変換(あるいはゼロ微分)の形で、イングランドの形態学の目印である。 変換において、音声の1つの部分を持つ単語は非原型的な文脈に置かれ、そこでは、その単語の別の部分を持つかのように振る舞うことが強制される。 しかし、この過程はイングランドの語彙の大部分に影響を及ぼすが、言語モデルがこのタイプの一般化を捉える度合いを確立するための作業はほとんど行われていない。 本稿では,変換に関する大規模言語モデルの振る舞いに関する最初の研究を報告する。 我々は,語彙・シトティック・フレキシビリティをテストするタスクを設計する。これは,非原型的部分の音声で構築された単語をモデルが一般化できる程度である。 このタスクは自然言語推論パラダイム内に位置する。 5つの言語モデル - 2つのプロプライエタリモデル(GPT-3.5とGPT-4)、3つのオープンソースモデル(Mistral 7B、Falcon 40B、Llama 2 70B)の能力をテストする。 GPT-4 は GPT-3.5 に続き,GPT-3.5 が続くが,オープンソースの言語モデルでも実行可能であること,そして 7B パラメータ Mistral は,自然言語推論タスクにおけるベースライン性能と非プロトタイプ構文カテゴリータスクとの差が小さいことを確認した。

関連論文リスト

• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• TinyStories: How Small Can Language Models Be and Still Speak Coherent English? [37.65216279977461]
  言語モデル(LM)は、小さくて一貫性があり、流動的なテキストを生成するのに苦労することが多い。 TinyStoriesを紹介します。これは、典型的な3～4歳の人が通常理解している単語のみを含む短いストーリーのデータセットです。 我々はTinyStoriesを用いて,最先端モデルよりもはるかに小さいLMをトレーニングし,評価することができることを示す。
  論文  参考訳（メタデータ） (2023-05-12T20:56:48Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
  SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
  論文  参考訳（メタデータ） (2022-09-29T01:35:57Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling [23.517751578968344]
  ラベルのない生音声信号から言語表現を学習する。 自己教師型コントラスト表現学習(CPC)、クラスタリング(k-means)、言語モデリング(LSTMまたはBERT)による合成ベースラインの結果と解析について述べる。 この単純なパイプラインは、4つのメトリクスすべてに対して偶然のパフォーマンスよりも優れており、生の音声による音声言語モデリングの可能性を示している。
  論文  参考訳（メタデータ） (2020-11-23T18:01:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。