論文の概要: Bridging the Modality Gap in Long-Form Clinical Audio: A Comparative Study of Lightweight and Heavyweight End-to-End SOAP Generation

• arxiv url: http://arxiv.org/abs/2609.14467v1
• Date: Sun, 13 Sep 2026 12:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.819799
• Title: Bridging the Modality Gap in Long-Form Clinical Audio: A Comparative Study of Lightweight and Heavyweight End-to-End SOAP Generation
• Title（参考訳）: 長期臨床オーディオにおけるモダリティギャップのブリッジ:軽量および軽量エンドツーエンドSOAP生成の比較研究
• Abstract要約: ASLPチームは、オーディオから直接構造化されたSOAPノートを生成し、中間転写をバイパスする完全なE2Eマルチモーダルシステムを提示している。 我々は1.41万サンプルのマルチタスクコーパスを構築し、ドメイン事前学習、教師付き微調整、カスケード、報酬最適化といったマルチステージパイプラインを適用した。 我々のE2Eシステムは、ASR+LLMベースラインを一貫して上回り、臨床文書の直接マルチモーダル最適化の有効性を証明した。
• 参考スコア（独自算出の注目度）: 9.519319405951327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automating clinical documentation from long-form doctor-patient conversations remains challenging for modern audio-language models. While cascaded ASR systems perform well, end-to-end (E2E) models often struggle with information loss and hallucinations on extended audio. For the BeTraC 2026 challenge, the ASLP team presents a fully E2E multimodal system that generates structured SOAP notes directly from audio, bypassing intermediate transcripts. We constructed a 1.41-million-sample multi-task corpus and applied a multi-stage pipeline: domain pre-training, supervised fine-tuning, and reward optimization. Evaluating the architecture under both Lightweight (3B) and Heavyweight (30B) constraints reveals that each training stage progressively enhances performance. Furthermore, scaling to 30B parameters substantially boosts concept extraction and summarization quality. Ultimately, our E2E systems consistently outperform representative cascaded ASR+LLM baselines, proving the efficacy of direct multimodal optimization for clinical documentation.
• Abstract（参考訳）: 長期の医師と患者との会話から臨床文書を自動作成することは、現代の音声言語モデルでは依然として困難である。 カスケードASRシステムはよく機能するが、エンド・ツー・エンド(E2E)モデルは拡張オーディオにおける情報損失と幻覚に苦しむことが多い。 BeTraC 2026の課題に対して、ASLPチームは、中間転写をバイパスして、オーディオから直接構造化されたSOAPノートを生成する完全なE2Eマルチモーダルシステムを提示した。 我々は1.41万サンプルのマルチタスクコーパスを構築し、ドメイン事前学習、教師付き微調整、報酬最適化といったマルチステージパイプラインを適用した。 Lightweight (3B) と Heavyweight (30B) の制約の下でアーキテクチャを評価することで、各トレーニングステージが徐々にパフォーマンスを向上させることが分かる。 さらに、30Bパラメータへのスケーリングは、概念抽出と要約品質を大幅に向上させる。 最終的に、我々のE2Eシステムは、ASR+LLMベースラインを一貫して上回り、臨床文書の直接マルチモーダル最適化の有効性を証明した。

関連論文リスト

• StrixAE: An Intelligent Agent for Audio Enhancement under Complex Distortion Coupling in Real-World Scenarios [39.05615315059762]
  マルチモーダル大言語モデル(MLLM)に基づくエージェントであるStrixAEを提案する。 StrixAEは2段階のプロセスを通じて訓練される。第1に、CoTはAcoustBenchの微調整を監督し、基本的な推論とツールの実行を基礎にしている。第2に、APRL(Audio Perception Reinforcement Learning)である。 一般的なRLファインチューニングとは異なり、APRLは実行可能なパイプラインと論理区間の順序を強制する構造的な報酬を導入し、エージェントは幻覚ツールを使わずに信頼性が高く解釈可能な拡張プランを作成できる。
  論文  参考訳（メタデータ） (2026-09-03T06:23:24Z)
• Trajectory Dynamics in Self-Supervised Learning Latent Space for Audio Deepfake Detection [0.0]
  我々は、ボナファイド音声のみに基づいて、因果LSTM次フレーム予測器を訓練する。 システムは6つのベンチマークで競合や最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-13T23:06:34Z)
• Making the Most of Limited Data: Score-Aware Training for Text-to-Music Generation [1.0323063834827415]
  最先端のテキストから音楽への生成システムは、膨大なプロプライエタリなデータセットと産業規模の計算に依存している。 本稿では、パイプライン全体を通して直接監視信号として、音声キャプチャアライメントスコアを扱うテキストスコア認識トレーニングを提案する。
  論文  参考訳（メタデータ） (2026-06-05T15:24:36Z)
• Generating Synthetic Doctor-Patient Conversations for Long-form Audio Summarization [18.727521030367974]
  長文音声推論は、トレーニングデータと評価の両方で保存される。 本研究では,学習資源として,および制御された評価環境として機能する合成データ生成パイプラインを提案する。 我々は8,800の合成会話と1.3k時間の対応するオーディオおよびリファレンスノートをリリースする。
  論文  参考訳（メタデータ） (2026-04-07T17:45:07Z)
• PACE: Pretrained Audio Continual Learning [27.605574463021693]
  事前学習モデル(PTM)を用いた音声連続学習(CL)のための最初の体系的ベンチマークを提案する。 さらに、スペクトルに基づく境界認識摂動を導入し、表現の重なりを緩和し、安定性を向上させる。 6つの多様なオーディオCLベンチマークの実験は、PACEが最先端のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-02-03T10:28:35Z)
• Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
  スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。 本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:16:19Z)
• ECTSpeech: Enhancing Efficient Speech Synthesis via Easy Consistency Tuning [37.55301116117562]
  本稿では,シンプルで効果的なワンステップ合成フレームワークであるECTSpeechを提案する。 ECTSpeechは Easy Consistency Tuning (ECT) 戦略を音声合成に取り入れている。 我々は,ECTSpeechが単一ステップサンプリングによる最先端手法に匹敵する音質を実現することを示す。
  論文  参考訳（メタデータ） (2025-10-07T14:44:05Z)
• Baichuan-Omni-1.5 Technical Report [78.49101296394218]
  Baichuan-Omni-1.5は、Omni-modalの理解能力だけでなく、エンドツーエンドのオーディオ生成機能も備えたOmni-modalモデルである。 マルチモーダルデータのための包括的データクリーニングと合成パイプラインを構築し,約500Bの高品質データを取得する。 第二に、音声トケナイザは、音声から意味情報と音響情報をキャプチャし、シームレスな統合とMLLMとの互換性の強化を可能にするように設計されている。
  論文  参考訳（メタデータ） (2025-01-26T02:19:03Z)
• MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
  異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。 提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
  論文  参考訳（メタデータ） (2024-01-07T08:59:32Z)
• TOLD: A Novel Two-Stage Overlap-Aware Framework for Speaker Diarization [54.41494515178297]
  話者ダイアリゼーションを単一ラベル分類問題として再検討する。 話者の重なりと依存性を明示的にモデル化できる重なり認識型EEND(EEND-OLA)モデルを提案する。 オリジナルのEENDと比較すると、提案されたEEND-OLAはダイアリゼーションエラー率において14.39%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2023-03-08T05:05:26Z)
• Wider or Deeper Neural Network Architecture for Acoustic Scene Classification with Mismatched Recording Devices [59.86658316440461]
  音響シーン分類(ASC)のためのロバストで低複雑性なシステムを提案する。 本稿では,まず,新しい入出力型ネットワークアーキテクチャを設計し,不一致な記録装置問題に対処する,ASCベースラインシステムを構築する。 さらなる性能向上を図りながら、低複雑性モデルを満たすために、多重スペクトルのアンサンブルとチャネル縮小の2つの手法を適用した。
  論文  参考訳（メタデータ） (2022-03-23T10:27:41Z)
• A Two-Stage Approach to Device-Robust Acoustic Scene Classification [63.98724740606457]
  デバイスロバスト性を改善するために,完全畳み込みニューラルネットワーク(CNN)に基づく2段階システムを提案する。 以上の結果から,提案したASCシステムにより,開発環境における最先端の精度が得られた。 クラスアクティベーションマッピングを用いたニューラルサリエンシ解析により、モデルによって学習されたパターンに関する新たな洞察が得られる。
  論文  参考訳（メタデータ） (2020-11-03T03:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。