論文の概要: FACE: Evaluating Natural Language Generation with Fourier Analysis of
Cross-Entropy
- arxiv url: http://arxiv.org/abs/2305.10307v3
- Date: Fri, 22 Sep 2023 12:23:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 18:55:12.181101
- Title: FACE: Evaluating Natural Language Generation with Fourier Analysis of
Cross-Entropy
- Title(参考訳): FACE: クロスエントロピーのフーリエ解析による自然言語生成の評価
- Authors: Zuhao Yang, Yingfang Yuan, Yang Xu, Shuo Zhan, Huajun Bai, Kefan Chen
- Abstract要約: モデル生成言語と人文言語との類似度を測定するための指標であるFACEを提案する。
オープン・エンド・ジェネレーション・タスクに基づいて、FACEが人-モデルギャップを効果的に識別できることが判明した。
FACEは計算効率が高く、直感的な解釈を提供する。
- 参考スコア(独自算出の注目度): 5.0025118866961975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Measuring the distance between machine-produced and human language is a
critical open problem. Inspired by empirical findings from psycholinguistics on
the periodicity of entropy in language, we propose FACE, a set of metrics based
on Fourier Analysis of the estimated Cross-Entropy of language, for measuring
the similarity between model-generated and human-written languages. Based on an
open-ended generation task and the experimental data from previous studies, we
find that FACE can effectively identify the human-model gap, scales with model
size, reflects the outcomes of different sampling methods for decoding,
correlates well with other evaluation metrics and with human judgment scores.
FACE is computationally efficient and provides intuitive interpretations.
- Abstract(参考訳): 機械生成言語と人間の言語の距離を測定することは重要なオープン問題である。
言語におけるエントロピーの周期性に関する心理言語学からの実証的知見に触発されて,モデル生成言語と人文言語の類似性を測定するために,推定された言語交叉エントロピーのフーリエ解析に基づく一連の指標であるfaceを提案する。
オープンエンド生成課題と先行研究の実験データに基づいて, 顔は, モデルのギャップを効果的に識別し, モデルサイズをスケールし, 復号のための異なるサンプリング手法の結果を反映し, 他の評価指標や人間の判断スコアとよく相関することがわかった。
FACEは計算効率が高く、直感的な解釈を提供する。
関連論文リスト
- Language Model Decoding as Direct Metrics Optimization [95.78717767103458]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳(メタデータ) (2023-10-02T09:35:27Z) - Separating the Human Touch from AI-Generated Text using Higher
Criticism: An Information-Theoretic Approach [8.285441115330944]
方法は、対数パープレクティリティとクロスエントロピー率の収束によって動機付けられる。
実データを用いて本手法の有効性を実証し,その成功に影響を及ぼす要因を分析した。
論文 参考訳(メタデータ) (2023-08-24T12:49:21Z) - MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。
我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。
我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
論文 参考訳(メタデータ) (2022-12-30T07:37:40Z) - A Comparative Study on Textual Saliency of Styles from Eye Tracking,
Annotations, and Language Models [21.190423578990824]
我々は、スタイリスティックテキストの人間の処理のための視線追跡データセットである eyeStyliency を提示する。
収集したアイデータセットを用いて,テキスト上でのサリエンシスコアを導出する様々な手法を開発した。
視線追跡データはユニークですが、人間のアノテーションとモデルに基づく重要度スコアの両方と交差しています。
論文 参考訳(メタデータ) (2022-12-19T21:50:36Z) - A global analysis of metrics used for measuring performance in natural
language processing [9.433496814327086]
自然言語処理の性能測定に使用されるメトリクスの,最初の大規模断面積解析を行う。
結果から,現在使用されている自然言語処理メトリクスの大部分は,モデルの性能を不適切に反映する特性を持っていることが示唆された。
論文 参考訳(メタデータ) (2022-04-25T11:41:50Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳(メタデータ) (2022-03-19T06:28:30Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-18T22:41:51Z) - SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption
Evaluation via Typicality Analysis [20.026835809227283]
情報理論に根ざした評価の新しい定式化である「定型性」を導入する。
これらの分割された意味論と流布の次元が、キャプタの違いに関するシステムレベルの洞察をいかに与えているかを示す。
提案手法とそれらの組み合わせであるSMURFは,他のルールベース評価指標と比較した場合,人間の判断と最先端の相関が得られた。
論文 参考訳(メタデータ) (2021-06-02T19:58:20Z) - Multilingual Language Models Predict Human Reading Behavior [8.830621849672108]
言語固有および多言語事前学習トランスフォーマーモデルの性能比較を行い,読解時間尺度の予測を行った。
BERT と XLM のモデルでは,様々な視線追跡特性の予測に成功している。
一連の実験で、これらのモデルのクロスドメインおよびクロス言語能力を分析し、人間の文処理をどのように反映するかを示す。
論文 参考訳(メタデータ) (2021-04-12T13:03:49Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。