論文の概要: HiPAD: A Unified Gait, Audio-Visual, and Personality Fusion Network for Depression Detection, with a Hierarchical Personality Ablation and the Calibration Limits of Domain-Adapted LLMs

• arxiv url: http://arxiv.org/abs/2610.14961v1
• Date: Sat, 10 Oct 2026 14:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 03:12:15.540475
• Title: HiPAD: A Unified Gait, Audio-Visual, and Personality Fusion Network for Depression Detection, with a Hierarchical Personality Ablation and the Calibration Limits of Domain-Adapted LLMs
• Title（参考訳）: HiPAD:階層的パーソナリティアブレーションとドメイン適応型LLMの校正限界を有する抑うつ検出のための統一歩数・オーディオ・ビジュアル・パーソナリティ融合ネットワーク
• Abstract要約: 我々は,MPDD-AVG 2026の6つのサブトラックすべてに1つの核融合ネットワークであるHiPADを提示する。 ネットワークは、利用可能な各モダリティを共有のBiLSTMで符号化し、ゼロパッドはモダリティを欠き、少なくとも2つの歩行、オーディオ、ビデオが存在する場合にのみ、モダリティ間注意を施す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present HiPAD, a single fusion network submitted to all six sub-tracks of the MPDD-AVG 2026 depression-detection challenge, covering the Elder and Young cohorts and three modality sets (gait, audio-visual, and both), each combined with personality descriptions. The network encodes each available modality with a shared BiLSTM, zero-pads absent modalities, and applies cross-modal attention only when at least two of gait, audio and video are present. Personality, which dominates our results, is kept out of the attention and fused by concatenation. Because the architecture is identical in every sub-track, differences between them reflect the data rather than the model, and we use this to study three questions. Our main finding is that the personality description, roughly 150 tokens about who the subject is, carries more depression signal than audio, video, and gait combined: gait plus personality alone (TLS 0.647) beats every configuration that includes audio and video. First, a four-level ablation of the personality description (L0-L3) quantifies this: removing every personality-derived feature, including the Big Five scores that earlier MPDD ablations keep, lowers the Track-Level Score by 0.499 to 0.507 and leaves the model at chance. Second, domain-adapting the personality encoder with LoRA (7B) or QLoRA (72B) on PHQ-8/9 data raises binary Cohen's $κ$ by 0.13 but lowers the overall score by distorting the PHQ-9 regression; a frozen RoBERTa-large encoder does better at this sample size. Third, at fixed architecture, handcrafted clinical features (eGeMAPS, OpenFace action units) outperform generic deep features (wav2vec2, DenseNet) on the audio-visual tracks. The unified system reaches a cross-track G-Score of 0.482; with under 100 subjects per cohort, the limiting factors are the size of the representation and the calibration of the outputs, not the choice of architecture.
• Abstract（参考訳）: 我々は,MPDD-AVG 2026の抑うつ検出課題の6つのサブトラックすべてに1つの核融合ネットワークを提出し,高齢者と若年者のコホートと3つのモダリティセット(外見,音声・視覚,およびその両方)とパーソナリティ記述を組み合わせた。 ネットワークは、利用可能な各モダリティを共有のBiLSTMで符号化し、ゼロパッドはモダリティを欠き、少なくとも2つの歩行、オーディオ、ビデオが存在する場合にのみ、モダリティ間注意を施す。 私たちの結果を支配しているパーソナリティは、注意から遠ざけられ、結合によって混乱します。 アーキテクチャはすべてのサブトラックで同一であるため、それらの違いはモデルではなくデータに反映される。 私たちの主な発見は、パーソナリティ記述(約150のトークン)は、オーディオ、ビデオ、そして歩留まりの合計よりも、抑うつ信号を持っていることです。 まず、パーソナリティ記述の4段階のアブレーション(L0-L3)がこれを定量化する: 以前のMPDDのアブレーションが保持していたビッグファイブスコアを含むすべてのパーソナリティから派生した特徴を取り除き、トラックレベルスコアを0.499から0.507に下げ、チャンスを逃す。 第二に、PHQ-8/9データにLoRA (7B) またはQLoRA (72B) でパーソナリティエンコーダをドメイン適応すると、バイナリCohenのκ$が0.13になるが、PHQ-9レグレッションを歪ませて全体のスコアを下げる。 第3に、固定されたアーキテクチャにおいて、手作りの臨床的特徴(eGeMAPS、OpenFaceアクションユニット)は、オーディオ視覚トラック上の一般的な深い特徴(wav2vec2、DenseNet)より優れています。 統一されたシステムは、0.482のクロストラックGスコアに到達し、コホート当たり100人未満の被験者を持つため、制限要因は、アーキテクチャの選択ではなく、出力の表現と校正である。

関連論文リスト

• Feature Encoding in VAE-based Audio Decoders: Effects of Input, Depth and Distribution [0.03437656066916039]
  RAVE(Realtime Audio Variational AutoEncoder)のようなニューラルオーディオモデルは、優れた生成品質を実現しています。 異なる音楽領域で訓練された3つのモデルに対して,RAVEデコーダアクティベーションの系統的・層横断的解析を行い,これらを4種類の刺激タイプで検証した。 RAVE の場合、合成刺激はモデルやオーディオ機能(pitch |rho=0.45, 5.1x the null, BPM |rho| = 0.76, 8.6x the null)でよく符号化されている。 これらの結果は減少するが、まだ残っている。
  論文  参考訳（メタデータ） (2026-10-06T08:32:02Z)
• JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation [57.91059754207182]
  完全連続なデュアルエンコーダアーキテクチャ上に構築されたエンドツーエンドの人文型音声生成モデルであるJoyAI-Voice2.0を提案する。 音声は連続的な潜伏語に符号化され、パッチに分割される。各パッチは意味論的・音響的二重エンコーダによって意味的に精製された表現と音響的表現に分解され、これらは計画のために因果自己回帰変換器に融合され、共同で供給される。 Seed-TTSにおける平均単語誤り率は2.51%で、最強のベースラインに対する14.9%の相対的な減少、そして最先端の属性忠実性を実現している。
  論文  参考訳（メタデータ） (2026-09-29T10:12:21Z)
• Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models [52.59216139491759]
  CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。 広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。 TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
  論文  参考訳（メタデータ） (2026-09-16T02:41:41Z)
• Audio-Text Cross-Attention with Psycholinguistic Support Features for Ambivalence/Hesitancy Recognition [0.6042845803090501]
  第11回ABAWコンペティションにおけるAmbivalence/Hesitancy Video Recognition Challengeのための音声テキストシステムを提案する。 この方法は、視覚的フレームを除外し、各動画を5秒の重なり合わせのタイムスタンプとして表現する。 それぞれのウィンドウは、320次元の韻律的オーディオディスクリプタと、768次元の感情指向RoBERTa埋め込みと、不確実性、ヘッジ、微妙な衝突を捉えた74のハンドクラフト機能を組み合わせている。
  論文  参考訳（メタデータ） (2026-07-15T00:11:24Z)
• Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns [0.0]
  我々は、すでにトレーニング不要でアーキテクチャ全般的な機能ベースを提供しているトランスフォーマー隠蔽状態の標準基底を示す。 このBag of Dimsフレームワークを、言語にまたがる7つのモデルで検証する。
  論文  参考訳（メタデータ） (2026-06-10T19:34:31Z)
• Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge [5.518749541105996]
  本稿では,FG 2026におけるBLEMOREチャレンジのシステムについて,相対的サリエンス予測と混合感情認識について紹介する。 我々の12エンコーダシステムはテストセット上でScore = 0.279 (ACCP = 0.391, ACCS = 0.168) を達成する。
  論文  参考訳（メタデータ） (2026-03-24T18:49:49Z)
• ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA [63.95311560556552]
  既存のビデオパーソナライズ手法は、視覚的類似性を保ちながら、ビデオとオーディオを別々に扱う。 被験者の外観と音声を1つのモデルで共同生成するID-LoRAを提案する。 人間の嗜好研究において、ID-LoRA は Kling 2.6 Pro よりも 73% のアノテータが音声に類似し、65% が話し方で好まれる。
  論文  参考訳（メタデータ） (2026-03-10T22:23:36Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。