Fugu-MT 論文翻訳(概要): Fréchet Oral Distance: A Coordinate-Free Metric and Benchmark for Speech-Driven Oral Animation

論文の概要: Fréchet Oral Distance: A Coordinate-Free Metric and Benchmark for Speech-Driven Oral Animation

arxiv url: http://arxiv.org/abs/2611.01705v1
Date: Sun, 01 Nov 2026 08:47:05 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 19:46:29.222687
Title: Fréchet Oral Distance: A Coordinate-Free Metric and Benchmark for Speech-Driven Oral Animation
Title（参考訳）: Fréchet Oral Distance: コーディネートフリーメトリックと音声駆動型口腔アニメーションのベンチマーク
Abstract要約: 音声による顔と口腔のアニメーション技術は、教育、音声治療、医療など様々な分野で用いられている。本稿では,口腔運動ランキング(OME)とTIMIT-Vis参照分布からの埋め込みを用いたFréchet Oral Distance (FOD)を提案する。
参考スコア（独自算出の注目度）: 1.1666234644810893
License:
Abstract: Recently, speech-driven facial and oral animation technologies have been used in various fields such as education, speech therapy, and healthcare. But methods to objectively evaluate the quality of generated results are still limited. Accordingly, we propose the Fréchet Oral Distance (FOD), which uses embeddings from an Oral Motion Encoder (OME) and a TIMIT-Vis reference distribution. In experiments, FOD reproduced model rankings similar to the coordinate-based metric, Lip Vertex Error (LVE), and showed trends consistent with user preference. Our framework provides objective and reproducible benchmarking without relying on expensive equipment or subjective evaluation, and it can be extended to compare a variety of 2D/3D models.
Abstract（参考訳）: 近年, 教育, 音声治療, 医療など様々な分野において, 音声駆動型顔・口腔アニメーション技術が用いられている。しかし、生成した結果の品質を客観的に評価する方法はまだ限られている。そこで我々は,口腔運動エンコーダ(OME)とTIMIT-Vis参照分布からの埋め込みを用いたFréchet Oral Distance (FOD)を提案する。実験では、FODは座標ベースの指標であるLip Vertex Error(LVE)と同様のモデルランキングを再現し、ユーザの好みと整合した傾向を示した。我々のフレームワークは、高価な機器や主観評価に頼ることなく、客観的かつ再現可能なベンチマークを提供し、様々な2D/3Dモデルを比較するために拡張することができる。

関連論文リスト

FoMo: Forking Moment in Generative Trajectory as a Perceptual Distance [39.92498464776558]
我々は,人間のアノテーションを使わずに,画像ペア間の視点的距離ラベルを生成する完全自動データ生成パイプラインを提案する。提案手法は,画像の粗い構造を初期段階に生成し,詳細を後段に生成する,知覚距離プロキシとして拡散モデルの生成ダイナミクスを利用する。
論文参考訳（メタデータ） (2026-09-22T05:44:57Z)
VOR-Bench: A Human Perception-Driven Benchmark for Video Object Removal [41.67024349583551]
VORベンチ(VOR Bench)を導入し、3つの統合コンポーネントによるVOR評価を向上する。まず、VORデータセット(VORD)を、ペア化された編集ビデオと落書きマスクの両方を提供する最初のベンチマークデータセットとして提示する。第2に、現実的なモーション対応Paired-Video Acquisition FrameworkであるrMPAFを開発する。第3に,マスク誘導型VORに特化して設計されたVLMに基づく最初の知覚駆動型スコアリングモデルであるVOR-MDSMを紹介する。
論文参考訳（メタデータ） (2026-09-15T09:08:00Z)
THEval. Evaluation Framework for Talking Head Video Generation [12.808033361725707]
本研究では,3次元品質,(ii)自然性,(iii)同期性に関連する8つの指標からなる新しい評価枠組みを提案する。メトリクスを選択する際には、効率を重視し、人間の好みに合わせています。 17の最先端モデルで生成された85,000本の動画を実験したところ、多くのアルゴリズムが唇の同期に優れている一方で、表現力や人工物のない細部を生成するという課題に直面していることが示唆された。
論文参考訳（メタデータ） (2025-11-06T16:34:10Z)
Assessing Identity Leakage in Talking Face Generation: Metrics and Evaluation Framework [56.30142869506262]
塗り絵ベースの話し顔生成は、唇の動きだけを変更しながらポーズ、照明、ジェスチャーなどの映像の詳細を保存することを目的としている。この機構は、生成した唇が、駆動オーディオのみの影響ではなく、参照画像の影響を受けるリップリークを導入することができる。そこで本研究では,唇の漏れを分析し定量化するためのシステム評価手法を提案する。
論文参考訳（メタデータ） (2025-11-05T17:11:53Z)
G-VEval: A Versatile Metric for Evaluating Image and Video Captions Using GPT-4o [15.929657348606018]
G-VEvalはG-Evalにインスパイアされた新しい測度であり、新しい GPT-4o で駆動される。 G-VEvalは、大規模なマルチモーダルモデルでチェーン・オブ・シント推論を使用しており、参照フリー、参照オンリー、組み合わせの3つのモードをサポートしている。また,ビデオキャプション評価のための新しいデータセットであるMSVD-Evalを提案する。
論文参考訳（メタデータ） (2024-12-18T09:23:12Z)
VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文参考訳（メタデータ） (2024-04-22T04:49:22Z)
EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
論文参考訳（メタデータ） (2023-10-17T17:50:46Z)
A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文参考訳（メタデータ） (2022-03-10T08:58:18Z)
LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文参考訳（メタデータ） (2021-10-18T08:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。