論文の概要: LUNA: A Framework for Language Understanding and Naturalness Assessment
- arxiv url: http://arxiv.org/abs/2401.04522v1
- Date: Tue, 9 Jan 2024 12:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 15:47:13.786300
- Title: LUNA: A Framework for Language Understanding and Naturalness Assessment
- Title（参考訳）: LUNA: 言語理解と自然性評価のためのフレームワーク
- Authors: Marat Saidov and Aleksandra Bakalova and Ekaterina Taktasheva and
Vladislav Mikhailov and Ekaterina Artemova
- Abstract要約: 本稿では,20NLG評価指標の統一インターフェースを提案する。
メトリクスは、それらの参照依存性とそれらが採用するテキスト表現の種類に基づいて分類される。
LUNAの素直な設計は、数行のコードだけで、新しいメトリクスで簡単に拡張できる。
- 参考スコア（独自算出の注目度）: 44.88534386427704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The evaluation of Natural Language Generation (NLG) models has gained
increased attention, urging the development of metrics that evaluate various
aspects of generated text. LUNA addresses this challenge by introducing a
unified interface for 20 NLG evaluation metrics. These metrics are categorized
based on their reference-dependence and the type of text representation they
employ, from string-based n-gram overlap to the utilization of static
embeddings and pre-trained language models.
The straightforward design of LUNA allows for easy extension with novel
metrics, requiring just a few lines of code. LUNA offers a user-friendly tool
for evaluating generated texts.
- Abstract（参考訳）: 自然言語生成(NLG)モデルの評価が注目され、生成したテキストの様々な側面を評価する指標の開発が進められている。
LUNAは、20NLG評価メトリクスのための統一インターフェースを導入することで、この問題に対処する。
これらのメトリクスは、文字列ベースのn-gramオーバーラップから静的埋め込みと事前学習された言語モデルの利用まで、参照依存度と採用するテキスト表現の種類に基づいて分類される。
LUNAの直接的な設計は、数行のコードだけで、新しいメトリクスで簡単に拡張できる。
LUNAは、生成されたテキストを評価するユーザフレンドリーなツールを提供する。
関連論文リスト
- Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models [16.82812708514889]
1つの会話で2つ以上の言語を交互に交互に行うコードスイッチングは、自然言語処理(NLP)に特有の課題を提示する
既存の研究は構文的制約やニューラルジェネレーションに重点を置いており、言語理論を言語モデル(LLM)と統合して自然なコード変更テキストを生成する努力はほとんどない。
等価制約理論(ECT)とLLMを組み合わせた新しいフレームワークであるEZSwitchを導入する。
論文 参考訳（メタデータ） (2024-10-30T03:03:32Z) - Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。
本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。
我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
論文 参考訳（メタデータ） (2024-07-04T16:41:08Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - Unsupervised Approach to Evaluate Sentence-Level Fluency: Do We Really
Need Reference? [3.2528685897001455]
本報告では,参照を必要とせず,既存の教師なし手法を用いてテキストの流速を計測する。
提案手法では,様々な単語埋め込みを活用し,RNNアーキテクチャを用いて言語モデルを訓練する。
モデルの性能を評価するため,10言語を対象に比較分析を行った。
論文 参考訳（メタデータ） (2023-12-03T20:09:23Z) - Evaluation Metrics of Language Generation Models for Synthetic Traffic
Generation Tasks [22.629816738693254]
BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。
生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
論文 参考訳（メタデータ） (2023-11-21T11:26:26Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-10-24T08:56:49Z) - A Multi-Perspective Architecture for Semantic Code Search [58.73778219645548]
テキストマッチングのための新しい多言語間ニューラルネットワークを提案する。
CoNaLaデータセットを用いた実験により,提案したモデルでは,従来の手法よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-05-06T04:46:11Z) - Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。
我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。
FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2020-02-27T18:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。