論文の概要: Artificial Rigidities vs. Biological Noise: A Comparative Analysis of Multisensory Integration in AV-HuBERT and Human Observers

• arxiv url: http://arxiv.org/abs/2601.15869v1
• Date: Thu, 22 Jan 2026 11:18:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.583828
• Title: Artificial Rigidities vs. Biological Noise: A Comparative Analysis of Multisensory Integration in AV-HuBERT and Human Observers
• Title（参考訳）: AV-HuBERTとヒトオブザーバの多感覚統合の比較分析
• Authors: Francisco Portillo López,
• Abstract要約: 本研究では,AV-HuBERTの知覚的生体忠実度を,ヒトの観察者に対してベンチマークすることで評価する。 AIと人間は、ほぼ同一の聴覚支配率を示しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study evaluates AV-HuBERT's perceptual bio-fidelity by benchmarking its response to incongruent audiovisual stimuli (McGurk effect) against human observers (N=44). Results reveal a striking quantitative isomorphism: AI and humans exhibited nearly identical auditory dominance rates (32.0% vs. 31.8%), suggesting the model captures biological thresholds for auditory resistance. However, AV-HuBERT showed a deterministic bias toward phonetic fusion (68.0%), significantly exceeding human rates (47.7%). While humans displayed perceptual stochasticity and diverse error profiles, the model remained strictly categorical. Findings suggest that current self-supervised architectures mimic multisensory outcomes but lack the neural variability inherent to human speech perception.
• Abstract（参考訳）: 本研究では, AV-HuBERTの知覚的生体忠実度を, 人間の観察者に対する無矛盾な聴覚刺激(McGurk効果)に対する反応(N=44。 AIとヒトは、ほぼ同一の聴覚支配率(32.0%対31.8%)を示し、このモデルが聴覚抵抗の生物学的しきい値を取得することを示唆している。 しかし、AV-HuBERTは音素融合(68.0%)に対して決定論的偏見を示し、人間のレート(47.7%)を大きく上回った。 人間は知覚確率性と多様なエラープロファイルを示したが、モデルは厳密に分類されたままであった。 発見は、現在の自己教師型アーキテクチャは多感覚の結果を模倣するが、人間の音声知覚に固有の神経の多様性を欠いていることを示唆している。

関連論文リスト

• EARS-UDE: Evaluating Auditory Response in Sensory Overload with Universal Differential Equations [4.285464959472458]
  自閉症スペクトラム障害(ASD)における聴覚過負荷の50～70%への影響 自閉症における感覚適応力学をモデル化するために,Universal Differential Equations (UDEs) を用いた科学機械学習手法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T10:16:43Z)
• Sense of Self and Time in Borderline Personality. A Comparative Robustness Study with Generative AI [0.0]
  本研究では,境界性パーソナリティ障害(BPD)における一人称経験の質的分析を支援するための大規模言語モデル(LLM)の能力について検討する。 元の研究者の解釈スタイルを模倣するために、3つのLSMを比較した。 その結果,GPTでは0%,Claudeでは42%,Geminiでは58%,Jaccard係数は0.21-0.28であった。 ジェミニの出力は人間の分析に最もよく似ており、GPTやClaude(p 0.0001)よりも高い精度で評価され、盲目の専門家によって人間であると判断された。
  論文  参考訳（メタデータ） (2025-08-26T13:13:47Z)
• LMME3DHF: Benchmarking and Evaluating Multimodal 3D Human Face Generation with LMMs [48.534851709853534]
  LMME3DHFは3DHFの評価基準として,品質および信頼性スコア予測,歪み認識型視覚質問応答,歪み認識型サリエンシ予測を提案する。 実験結果から, LMME3DHFは, 従来の手法を上回り, 人間の顔の精度を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2025-04-29T07:00:06Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Mind the Uncertainty in Human Disagreement: Evaluating Discrepancies between Model Predictions and Human Responses in VQA [26.968874222330978]
  本研究は,視覚質問応答(VQA)タスクに焦点をあてる。 視覚言語モデルが人間の反応の分布とどのように相関するかを評価する。
  論文  参考訳（メタデータ） (2024-09-17T13:44:25Z)
• Visual Stereotypes of Autism Spectrum in Janus-Pro-7B, DALL-E, Stable Diffusion, SDXL, FLUX, and Midjourney [0.0]
  本研究は,2024-2025年に生成した画像と制御とを比較し,自閉症に関する非合理的信念を継続する6つのテキスト・ツー・イメージモデルについて検討した。 自閉症の個人は、肌の色(白人)、性別(男性)、年齢(青年)に顕著な均一性を示し、孤独な活動に従事し、人ではなく物と交流し、悲しみ、怒り、感情的な平らさなどのステレオタイプ的な感情表現を示した。 両モデル間に有意差が認められたが, 効果サイズが適度であり, ベースラインと追従要約値の差はなく, いずれのモデルにも類似した画像数に対するステレオタイプ的テーマの比は認められなかった。
  論文  参考訳（メタデータ） (2024-07-23T08:48:09Z)
• HumanRefiner: Benchmarking Abnormal Human Generation and Refining with Coarse-to-fine Pose-Reversible Guidance [80.97360194728705]
  AbHumanは、解剖学的異常に焦点を当てた最初の大規模なヒトのベンチマークである。 HumanRefinerは、テキスト・ツー・イメージ生成における人間の異常の粗い微細化のための新しいプラグ・アンド・プレイアプローチである。
  論文  参考訳（メタデータ） (2024-07-09T15:14:41Z)
• Perceptual-Score: A Psychophysical Measure for Assessing the Biological Plausibility of Visual Recognition Models [9.902669518047714]
  本稿では,視覚心理学に基づく新しい尺度Perceptual-Scoreを提案する。 生物学的なインスピレーションと複雑性の程度が異なる12のモデルで手順を実行する。 各モデルの知覚スコアは、最先端の神経活動ベースのメトリクスであるBrain-Scoreと比較される。
  論文  参考訳（メタデータ） (2022-10-16T20:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。