Fugu-MT 論文翻訳(概要): Low-Cost Generation and Evaluation of Dictionary Example Sentences

論文の概要: Low-Cost Generation and Evaluation of Dictionary Example Sentences

arxiv url: http://arxiv.org/abs/2404.06224v1
Date: Tue, 9 Apr 2024 11:26:59 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 15:00:05.049508
Title: Low-Cost Generation and Evaluation of Dictionary Example Sentences
Title（参考訳）: 辞書例文の低コスト生成と評価
Authors: Bill Cai, Clarence Boon Liang Ng, Daniel Tan, Shelvia Hotama,
Abstract要約: 我々は、既存のオックスフォード辞書文に対して生成された文の勝利率を測定する、OxfordEvalと呼ばれる新しい自動評価指標を導入する。単語の意味を最もよく表す文を識別し、選択するために、マスク付き言語モデルを用いた新しいアプローチでこれを補完する。最終的なモデルであるFM-MLMはオックスフォードの基準文に対して85.1%以上の勝利率を達成したが、以前のモデル生成文では39.8%の勝利率であった。
参考スコア（独自算出の注目度）: 2.3927685342928466
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Dictionary example sentences play an important role in illustrating word definitions and usage, but manually creating quality sentences is challenging. Prior works have demonstrated that language models can be trained to generate example sentences. However, they relied on costly customized models and word sense datasets for generation and evaluation of their work. Rapid advancements in foundational models present the opportunity to create low-cost, zero-shot methods for the generation and evaluation of dictionary example sentences. We introduce a new automatic evaluation metric called OxfordEval that measures the win-rate of generated sentences against existing Oxford Dictionary sentences. OxfordEval shows high alignment with human judgments, enabling large-scale automated quality evaluation. We experiment with various LLMs and configurations to generate dictionary sentences across word classes. We complement this with a novel approach of using masked language models to identify and select sentences that best exemplify word meaning. The eventual model, FM-MLM, achieves over 85.1% win rate against Oxford baseline sentences according to OxfordEval, compared to 39.8% win rate for prior model-generated sentences.
Abstract（参考訳）: 辞書の例文は、単語の定義と使用法を説明する上で重要な役割を果たすが、手作業による質の高い文の作成は困難である。先行研究は、言語モデルが例文を生成するために訓練できることを実証している。しかし、彼らは作業の生成と評価のために、高価なカスタマイズされたモデルとワードセンスデータセットを頼りにしていた。基礎モデルの急速な進歩は、辞書例文の生成と評価のための低コストでゼロショットの手法を作成する機会を与える。我々は、既存のオックスフォード辞書文に対して生成された文の勝利率を測定する、OxfordEvalと呼ばれる新しい自動評価指標を導入する。 OxfordEvalは人間の判断と高い整合性を示し、大規模な自動品質評価を可能にしている。我々は、様々なLLMと構成を用いて、単語クラス間で辞書文を生成する実験を行った。単語の意味を最もよく表す文を識別し、選択するために、マスク付き言語モデルを用いた新しいアプローチでこれを補完する。最終的なモデルであるFM-MLMはオックスフォードの基準文に対して85.1%以上の勝利率を達成したが、以前のモデル生成文では39.8%の勝利率であった。

関連論文リスト

Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach [25.166206924366527]
直接音声翻訳モデルにおいて,稀な単語翻訳精度を高めるための検索・復調手法を提案する。まず,レアワード翻訳のための検索例を組み込むために,既存のSTモデルを適用した。次に、適切な例を見つけるために、クロスモーダル(音声から音声へ、音声からテキストへ、テキストからテキストへ)検索装置を開発する。
論文参考訳（メタデータ） (2024-09-13T17:38:03Z)
Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文参考訳（メタデータ） (2023-05-29T16:24:01Z)
ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation [59.91139600152296]
ParaAMRは、抽象的な表現のバックトランスレーションによって生成される、大規模な構文的に多様なパラフレーズデータセットである。そこで本研究では,ParaAMRを用いて文の埋め込み学習,構文的に制御されたパラフレーズ生成,数ショット学習のためのデータ拡張という,3つのNLPタスクを改善することができることを示す。
論文参考訳（メタデータ） (2023-05-26T02:27:33Z)
Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文参考訳（メタデータ） (2022-10-16T07:47:46Z)
Construct a Sentence with Multiple Specified Words [1.8782750537161608]
本稿では,任意の単語集合から文を作成できるように,BARTモデルを微調整する作業を示す。訓練課題は、4つの単語で文章を作成することであるが、訓練されたモデルは、より少ない単語が提供されると文を生成することができる。
論文参考訳（メタデータ） (2022-06-25T05:49:51Z)
Automatic generation of a large dictionary with concreteness/abstractness ratings based on a small human dictionary [0.701955947252181]
本稿では,単語の自動格付け手法を提案する。この手法は英語の大規模なテストセットで評価されている。予測された評価と専門家の評価の相関は、最先端の手法と比較して高い。
論文参考訳（メタデータ） (2022-06-13T14:31:58Z)
Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
埋め込みの本質的な評価はかなり遅れていますそして過去10年間重要な更新は行われていません本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
論文参考訳（メタデータ） (2022-03-05T08:40:05Z)
Dict-BERT: Enhancing Language Model Pre-training with Dictionary [42.0998323292348]
事前学習型言語モデル(PLM)は,大規模コーパス上で自己指導型学習タスクを行うことで,普遍的な言語表現を学習することを目的としている。本研究では,辞書におけるレアワードの定義を活用することで,言語モデル事前学習の強化に焦点をあてる。入力テキストシーケンスとまれな単語定義間の単語と文レベルのアライメントに関する2つの新しい自己教師付き事前学習タスクを提案する。
論文参考訳（メタデータ） (2021-10-13T04:29:14Z)
Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering [88.08581016329398]
文書レベルのパラフレーズ生成のためのCoRPG(Coherence Relation Guided Paraphrase Generation)を提案する。グラフGRUを用いて、コヒーレンス関係グラフを符号化し、各文のコヒーレンス対応表現を得る。我々のモデルは、より多様性とセマンティックな保存を伴う文書パラフレーズを生成することができる。
論文参考訳（メタデータ） (2021-09-15T05:53:40Z)
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models [29.40992909208733]
本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。また,言論を明示的に評価しないタスクにおいても,ConPONOは2%～6%の利得が得られることを示した。
論文参考訳（メタデータ） (2020-05-20T23:21:43Z)
Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
論文参考訳（メタデータ） (2020-05-11T16:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。