論文の概要: A Statistical Turing Test for Generative Models
- arxiv url: http://arxiv.org/abs/2309.08913v1
- Date: Sat, 16 Sep 2023 07:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 18:45:44.548339
- Title: A Statistical Turing Test for Generative Models
- Title(参考訳): 生成モデルの統計的チューリングテスト
- Authors: Hayden Helm and Carey E. Priebe and Weiwei Yang
- Abstract要約: 評価コンテキストに条件付けされた人間と機械生成コンテンツの分布の違いを定量化する,統計的パターン認識の言語におけるフレームワークを提供する。
フレームワークの文脈における現在の手法を解説し、生成モデルの人間的能力への進歩を評価するためのフレームワークの使い方を実証する。
- 参考スコア(独自算出の注目度): 16.76409082266663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of human-like abilities of AI systems for content generation in
domains such as text, audio, and vision has prompted the development of
classifiers to determine whether content originated from a human or a machine.
Implicit in these efforts is an assumption that the generation properties of a
human are different from that of the machine. In this work, we provide a
framework in the language of statistical pattern recognition that quantifies
the difference between the distributions of human and machine-generated content
conditioned on an evaluation context. We describe current methods in the
context of the framework and demonstrate how to use the framework to evaluate
the progression of generative models towards human-like capabilities, among
many axes of analysis.
- Abstract(参考訳): テキスト、オーディオ、ビジョンなどの領域におけるコンテンツ生成のためのAIシステムの人間ライクな能力の出現は、コンテンツが人間または機械に由来するかどうかを判断する分類器の開発を促している。
これらの取り組みにおいて暗黙的なことは、人間の世代特性が機械と異なるという仮定である。
本研究では,評価コンテキストに条件付けされた人間と機械生成コンテンツの分布の違いを定量化する,統計的パターン認識の言語におけるフレームワークを提供する。
フレームワークの文脈における現在の手法を解説し、多くの分析軸の中で、生成モデルの人間的能力への進歩を評価するためのフレームワークの使い方を実証する。
関連論文リスト
- Measuring Human Contribution in AI-Assisted Content Generation [68.03658922067487]
本研究は,AIによるコンテンツ生成における人間の貢献度を測定する研究課題を提起する。
人間の入力とAI支援出力の自己情報に対する相互情報を計算することにより、コンテンツ生成における人間の比例情報貢献を定量化する。
論文 参考訳(メタデータ) (2024-08-27T05:56:04Z) - MUGC: Machine Generated versus User Generated Content Detection [1.6602942962521352]
従来の手法は, 機械生成データの同定において高い精度を示す。
機械生成テキストは短く、人間生成コンテンツに比べて単語の多様性が低い傾向にある。
可読性、バイアス、モラル、影響の比較は、機械生成コンテンツと人間生成コンテンツの間に明確なコントラストを示す。
論文 参考訳(メタデータ) (2024-03-28T07:33:53Z) - Quantifying the Plausibility of Context Reliance in Neural Machine
Translation [25.29330352252055]
我々は、PECoRe(Context Reliance)の可塑性評価を導入する。
PECoReは、言語モデル世代におけるコンテキスト使用量の定量化を目的として設計されたエンドツーエンドの解釈可能性フレームワークである。
我々は、文脈対応機械翻訳モデルの妥当性を定量化するために、pecoreを使用します。
論文 参考訳(メタデータ) (2023-10-02T13:26:43Z) - Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。
入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。
このような違いを推定する自動手法を提案する。
論文 参考訳(メタデータ) (2023-02-07T18:52:22Z) - MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。
我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。
我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
論文 参考訳(メタデータ) (2022-12-30T07:37:40Z) - Diversity vs. Recognizability: Human-like generalization in one-shot
generative models [5.964436882344729]
サンプル認識可能性と多様性の2つの軸に沿った1ショット生成モデルを評価するための新しい枠組みを提案する。
まず、GANのようなモデルとVAEのようなモデルが多様性認識性空間の反対側にあることを示す。
対照的に、非絡み合いは、認識可能性の最大化に使用できるパラボラ曲線に沿ってモデルを輸送する。
論文 参考訳(メタデータ) (2022-05-20T13:17:08Z) - Data-driven emotional body language generation for social robotics [58.88028813371423]
社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。
我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。
評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
論文 参考訳(メタデータ) (2022-05-02T09:21:39Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z) - A Comparative Approach to Explainable Artificial Intelligence Methods in
Application to High-Dimensional Electronic Health Records: Examining the
Usability of XAI [0.0]
XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。
機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。
XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
論文 参考訳(メタデータ) (2021-03-08T18:15:52Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳(メタデータ) (2020-09-25T12:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。