論文の概要: Deconstructing NLG Evaluation: Evaluation Practices, Assumptions, and Their Implications

• arxiv url: http://arxiv.org/abs/2205.06828v1
• Date: Fri, 13 May 2022 18:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 14:00:43.889482
• Title: Deconstructing NLG Evaluation: Evaluation Practices, Assumptions, and Their Implications
• Title（参考訳）: nlg評価の非構造化--評価実践と前提とその意義
• Authors: Kaitlyn Zhou, Su Lin Blodgett, Adam Trischler, Hal Daum\'e III, Kaheer Suleman, Alexandra Olteanu
• Abstract要約: 本研究では,NLG評価を形作る目標,コミュニティプラクティス,前提,制約について検討する。 その影響と倫理的考察の具体化について検討する。
• 参考スコア（独自算出の注目度）: 85.24952708195582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are many ways to express similar things in text, which makes evaluating natural language generation (NLG) systems difficult. Compounding this difficulty is the need to assess varying quality criteria depending on the deployment setting. While the landscape of NLG evaluation has been well-mapped, practitioners' goals, assumptions, and constraints -- which inform decisions about what, when, and how to evaluate -- are often partially or implicitly stated, or not stated at all. Combining a formative semi-structured interview study of NLG practitioners (N=18) with a survey study of a broader sample of practitioners (N=61), we surface goals, community practices, assumptions, and constraints that shape NLG evaluations, examining their implications and how they embody ethical considerations.
• Abstract（参考訳）: 同様のことをテキストで表現する方法は数多くあり、自然言語生成(NLG)システムの評価が困難になる。 この難しさを複合化するためには、デプロイメント設定に応じて、さまざまな品質基準を評価する必要がある。 nlg評価の展望はよく理解されているが、実践者の目標、仮定、制約は、何、いつ、どのように評価するかに関する決定を、しばしば部分的に、暗黙的に、あるいは全く述べられていない。 NLG実践者の形式的半構造化面接調査(N=18)と実践者の広範なサンプル調査(N=61)を組み合わせることで,NLG評価を形成する目標,コミュニティプラクティス,前提,制約を明らかにし,その意義と倫理的考察を具現化する。

関連論文リスト

• Large Language Models Are Active Critics in NLG Evaluation [9.932334723464129]
  自然言語生成(NLG)システムを評価する新しい手法であるActive-Criticを紹介する。 このプロトコルにより、大きな言語モデル(LLM)が'アクティブな批評家'として機能できる。 実験により,本手法は現状評価法よりも人的判断との整合性が高いことが示された。
  論文  参考訳（メタデータ） (2024-10-14T17:04:41Z)
• Themis: A Reference-free NLG Evaluation Language Model with Flexibility and Interpretability [39.12792986841385]
  本稿では,人間とGPT-4のアノテーションを用いた大規模NLG評価コーパスNLG-Evalを構築した。 また,NLG 評価専用の LLM を提案する。この LLM は,設計した多視点整合性検証と評価指向の選好アライメント手法を用いて訓練されている。 Themis は様々な NLG タスクに対して優れた評価性能を示し、同時に未確認タスクを一般化し、GPT-4 など他の評価モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-26T14:04:29Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
  大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。 本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
  論文  参考訳（メタデータ） (2024-01-13T15:59:09Z)
• X-Eval: Generalizable Multi-aspect Text Evaluation via Augmented Instruction Tuning with Auxiliary Evaluation Aspects [32.50977115108103]
  X-Evalは、エンドユーザーがカスタマイズした視覚的側面と見えない側面の両方でテキストを評価するための2段階のインストラクションチューニングフレームワークである。 X-Evalは2つの学習段階から構成されており、モデルの性能を向上させるバニラ命令チューニング段階と、微粒化評価面間の接続を利用してテキスト品質を評価する拡張命令チューニング段階である。
  論文  参考訳（メタデータ） (2023-11-15T09:01:55Z)
• Collaborative Evaluation: Exploring the Synergy of Large Language Models and Humans for Open-ended Generation Evaluation [71.76872586182981]
  大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。 本稿では,タスク固有の基準のチェックリストとテキストの詳細な評価を含む協調評価パイプラインCoEvalを提案する。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
  自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
  論文  参考訳（メタデータ） (2023-07-13T16:16:51Z)
• Repairing the Cracked Foundation: A Survey of Obstacles in Evaluation Practices for Generated Text [23.119724118572538]
  自然言語生成(NLG)における評価手法には多くの既知の欠陥があるが、改良された評価手法が広く採用されることは稀である。 本稿では,人間と自動モデル評価の問題と,NLGでよく使用されるデータセットについて検討する。
  論文  参考訳（メタデータ） (2022-02-14T18:51:07Z)
• Evaluation of Text Generation: A Survey [107.62760642328455]
  本稿は,ここ数年で開発された自然言語生成システムの評価手法について調査する。 我々は,NLG評価手法を,(1)人間中心評価指標,(2)訓練を必要としない自動評価指標,(3)機械学習指標の3つのカテゴリに分類した。
  論文  参考訳（メタデータ） (2020-06-26T04:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。