論文の概要: ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion

• arxiv url: http://arxiv.org/abs/2606.16327v1
• Date: Mon, 15 Jun 2026 07:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.147401
• Title: ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion
• Title（参考訳）: ArtBoost:音響-調音インバージョンのための合成調音データ拡張
• Authors: Hyung Kyu Kim, Byungchan Hwang, Hak Gu Kim,
• Abstract要約: 近年の音響-調波インバージョン (AAI) モデルは, 電磁動電図 (EMA) データに依存している。 限られたEMA監督下でAAIを改善するための新しいデータ拡張戦略である textitArtBoost を提案する。 textitArtBoostは、視覚的な顔アンカーから擬似的な音声軌跡を抽出し、実際のEMAデータを微調整する前に事前トレーニングに使用する。
• 参考スコア（独自算出の注目度）: 5.4007648253319305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent acoustic-to-articulatory inversion (AAI) models rely on electromagnetic articulography (EMA) data, which are costly and limited in scale. To address this limitation, we propose \textit{ArtBoost}, a novel data augmentation strategy that leverages large-scale speech--mesh datasets originally developed for speech-driven 3D facial animation to improve AAI under limited EMA supervision. \textit{ArtBoost} extracts pseudo articulatory trajectories from visible facial anchors and uses them for pre-training before fine-tuning on real EMA data. Experiments show consistent improvements in PCC and RMSE. Trajectory analyses confirm that the pseudo articulatory signals reflect physically meaningful visible articulatory dynamics. Additional evaluations across different AAI architectures demonstrate stable performance gains, indicating that \textit{ArtBoost} can be integrated into diverse AAI models. These results suggest that speech--mesh data provide an effective and scalable source of articulatory supervision for AAI. Project page: https://cau-irislab.github.io/Interspeech26-ArtBoost/
• Abstract（参考訳）: 近年の音響-調波インバージョン (AAI) モデルでは, コストがかかり, 規模が限られている電磁動電図 (EMA) データに頼っている。 この制限に対処するため,EMAの限られた監督下でAAIを改善するために,音声駆動の3D顔アニメーション用に開発された大規模音声合成データセットを活用する新しいデータ拡張戦略である「textit{ArtBoost}」を提案する。 \textit{ArtBoost}は、視覚的な顔アンカーから擬似的な音声軌跡を抽出し、実際のEMAデータを微調整する前に事前トレーニングに使用する。 実験ではPCCとRMSEが一貫した改善が見られた。 軌道解析により、擬似的調音信号が物理的に意味のある可視的調音力学を反映していることが確認された。 異なるAAIアーキテクチャ間でのさらなる評価は安定したパフォーマンス向上を示し、 \textit{ArtBoost} が様々なAAIモデルに統合可能であることを示している。 これらの結果から,音声合成データにより,AAIの音声管理を効果的かつスケーラブルに行うことが示唆された。 プロジェクトページ:https://cau-irislab.github.io/Interspeech26-ArtBoost/

関連論文リスト

• TranX-Adapter: Bridging Artifacts and Semantics within MLLMs for Robust AI-generated Image Detection [70.42796551833946]
  テクスチャレベルのアーティファクトとセマンティックな特徴をマルチモーダルな言語モデル(MLLM)に組み込むことで、AIGI検出能力を向上することができる。 本稿では,タスク認識型Optimal-Transport Fusionを統合した軽量フュージョンアダプタTranX-Adapterを提案する。 いくつかの高度なMLLM上での標準AIGI検出ベンチマークの実験は、TranX-Adapterが一貫性と大幅な改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2026-02-25T09:22:46Z)
• Scalable Audio-Visual Masked Autoencoders for Efficient Affective Video Facial Analysis [11.373305523732718]
  Affective Video Face Analysis (AVFA) は感情認識知能システム構築の鍵となる研究分野として浮上している。 Masked Autoencoders (MAE) が勢いを増し、オーディオ・ビジュアル・コンテキストへの適応が増加している。 AVF-MAE++(AVF-MAE++)は、AVFAのスケーリング特性を効率的に調査するために設計されたオーディオビジュアルMAEモデルのファミリーである。
  論文  参考訳（メタデータ） (2025-09-29T02:53:49Z)
• Action Unit Enhance Dynamic Facial Expression Recognition [7.142118694918976]
  本稿では,深層学習モデルの有効性を高めるために,AU拡張動的顔表情認識アーキテクチャ,AU-DFERを提案する。 異なる表現に対するアクションユニット(AUs)の寄与を定量化し、重み行列は事前知識を組み込むように設計されている。 この分野の主要なデータセットについて、DFERに対する最近の3つの主要なオープンソースアプローチで実験が行われている。
  論文  参考訳（メタデータ） (2025-07-10T11:59:43Z)
• ExGra-Med: Extended Context Graph Alignment for Medical Vision-Language Models [95.47808515575382]
  ExGra-Medは、医療AIのビジョン言語統合のための新しいフレームワークである。 画像、命令応答、拡張キャプションを潜在空間にアライメントし、セマンティックグラウンドとクロスモーダルコヒーレンスを前進させる。 プレトレーニングデータの10%しか使用せず、VQA-RADで20.13%向上し、フルデータパフォーマンスに近づいた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• Static for Dynamic: Towards a Deeper Understanding of Dynamic Facial Expressions Using Static Expression Data [85.71013961405036]
  本稿では,DFERの補完リソースとしてSFERデータを統合した統合型デュアルモーダル学習フレームワークを提案する。 S4Dは、共有トランスフォーマー(ViT)エンコーダデコーダアーキテクチャを用いて、顔画像とビデオに対して、デュアルモーダルな自己教師付き事前トレーニングを採用する。 実験により、S4DはDFERをより深く理解し、新しい最先端のパフォーマンスを設定できることが示された。
  論文  参考訳（メタデータ） (2024-09-10T01:57:57Z)
• SatDM: Synthesizing Realistic Satellite Image with Semantic Layout Conditioning using Diffusion Models [0.0]
  Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。 本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。 提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
  論文  参考訳（メタデータ） (2023-09-28T19:39:13Z)
• ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。 Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。 本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:19:52Z)
• ARHNet: Adaptive Region Harmonization for Lesion-aware Augmentation to Improve Segmentation Performance [61.04246102067351]
  本研究では,合成画像をよりリアルに見せるために,前景調和フレームワーク(ARHNet)を提案する。 実画像と合成画像を用いたセグメンテーション性能の向上に本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-07-02T10:39:29Z)
• Boosting Human-Object Interaction Detection with Text-to-Image Diffusion Model [22.31860516617302]
  本稿では,事前学習したテキスト画像拡散モデルに基づく新しいHOI検出方式であるDiffHOIを紹介する。 HOIデータセットのギャップを埋めるために、クラスバランス、大規模、高多様性の合成データセットであるSynHOIを提案する。 実験により、DiffHOIは通常の検出(41.50 mAP)とゼロショット検出において、最先端の技術を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2023-05-20T17:59:23Z)
• A Comparative Study of Data Augmentation Techniques for Deep Learning Based Emotion Recognition [11.928873764689458]
  感情認識のための一般的なディープラーニングアプローチを包括的に評価する。 音声信号の長距離依存性が感情認識に重要であることを示す。 スピード/レート向上は、モデル間で最も堅牢なパフォーマンス向上を提供する。
  論文  参考訳（メタデータ） (2022-11-09T17:27:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。