論文の概要: I'll Keep an Ear Out: Teaching AudioLLMs Proactive Audio Assistance

• arxiv url: http://arxiv.org/abs/2609.21183v1
• Date: Fri, 18 Sep 2026 01:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.806625
• Title: I'll Keep an Ear Out: Teaching AudioLLMs Proactive Audio Assistance
• Title（参考訳）: 音声アシスタント「AudioLLMs Proactive Audio Assistance」
• Abstract要約: 本稿では,AudioLLMが音声ストリームを監視し,ユーザに対して1つの自然言語インテントから警告するタイミングを自律的に決定する,プロアクティブオーディオアシストを導入する。 本稿では,2つの特別なトークンによるLCMデコーディングに積極的決定を組み込むモデル非依存のパラダイムであるInterrupt and Silent Modeling (ISM)を提案する。 ノイズの多いEpic-Soundsキッチンオーディオでは、ISMはドメイン固有のトレーニングなしで最高の割り込みF1を達成する。
• 参考スコア（独自算出の注目度）: 9.80270731613482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio large language models (AudioLLMs) operate reactively, responding only when queried. We introduce proactive audio assistance, where an AudioLLM monitors an audio stream and autonomously decides when to alert the user from a single natural-language intent, motivated by wearable applications for Deaf and Hard of Hearing users. We propose Interrupt and Silent Modeling (ISM), a model-agnostic paradigm that embeds proactive decisions into LLM decoding via two special tokens: \texttt{<interrupt>} and \texttt{<silent>}, capturing four states: onset detection, sustained-relevance triggering, irrelevance suppression, and de-duplication. Applied to Qwen2-Audio-7B, ISM achieves 99.6\% interrupt F1 and perfect de-duplication recall on ESC-50. On noisy Epic-Sounds kitchen audio, ISM achieves the highest interrupt F1 without domain-specific training, the only method maintaining strong onset detection without over-triggering or over-suppression. Streaming evaluation confirms real-time viability with 3.5-second average latency.
• Abstract（参考訳）: オーディオ大言語モデル(AudioLLMs)は、クエリ時にのみ応答する。 本稿では,AudioLLMが音声ストリームを監視して,DeafおよびHard of Hearingユーザのためのウェアラブルアプリケーションによって動機付けられた,単一の自然言語意図からユーザを警告するタイミングを自律的に決定する,プロアクティブオーディオアシストを紹介する。 Inrupt and Silent Modeling (ISM) は、2つの特別なトークン: \texttt{<interrupt>} と \texttt{<silent>} を通じて、積極的に決定をLCMデコーディングに組み込むモデルに依存しないパラダイムである。 Qwen2-Audio-7B に適用すると、ISM は ESC-50 上で 99.6 % の割り込み F1 と完全非重複リコールを達成する。 ノイズの多いEpic-Soundsキッチンオーディオでは、ISMはドメイン固有のトレーニングなしで最高の割り込みF1を達成する。 ストリーミング評価は、3.5秒平均レイテンシでリアルタイムの生存性を確認する。

関連論文リスト

• Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation [58.79612575170589]
  既存の手法では、重なり合う音響イベントと視覚的インスタンスをマッチングし、音声視覚力学を扱うのに苦労している。 本稿では,2つのメカニズムを用いて,これらの課題に対処するH2Sを提案する。 論文が受け入れられたら、コードはオープンソースになる。
  論文  参考訳（メタデータ） (2026-08-04T07:35:57Z)
• Audio Interaction Model [102.4354125819644]
  今日のLALM(Large Audio Language Models)はオフラインであり、ストリーミングオーディオモデルはASRや音声チャットのような単一のタスクのみを処理する。 それは、常時オンの知覚・認知応答ループを通じて、音、環境、指示をリアルタイムで聞き、リアルタイムで反応するモデルである。 我々は,この仕組みをオーディオインタラクションモデルとして定式化し,オフラインタスクの実行を継続する統合ストリーミングモデルであるAudio-Interactionで実現した。
  論文  参考訳（メタデータ） (2026-06-03T17:26:11Z)
• UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
  音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。 音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。 本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:24:55Z)
• Hijacking Large Audio-Language Models via Context-Agnostic and Imperceptible Auditory Prompt Injection [22.306688903148046]
  大規模な音声言語モデル(LALM)は、音声とテキストを密に統合することでインテリジェントな音声インタラクションをパワーアップする。 textitAudioHijackは,ハイジャックLALMに対して,文脈に依存しない,知覚不能な音声を生成するフレームワークである。 13種類のLALM実験では、6つのカテゴリーで一貫したハイジャックが行われた。
  論文  参考訳（メタデータ） (2026-04-16T04:22:11Z)
• Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs [53.41256816230278]
  最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。 複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。 音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:30:12Z)
• Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation [26.766367856312694]
  本稿では,視覚・ストリーミング音声・言語・プロプライエセプションを考慮した連続制御パラダイムとして,VSLA(Vision-Sound-Language-Action)を定式化した。 i) 実行ギャップをまたいだコンパクトで因果的な音声コンテキストを維持するためのストリーミングヒストリザ、(ii) オームニ基礎モデルから多感覚入力を推論するエンビジョンタ、(iii) オーディオワールドモデルとして定式化されたアドバンサ、そして(iv) 流れを予測して時間的ダイナミクスを学ぶための、VSLAフレームワークであるHEARを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T03:22:30Z)
• Pay More Attention To Audio: Mitigating Imbalance of Cross-Modal Attention in Large Audio Language Models [60.857389526958485]
  MATAはLALMを動的にプッシュして、自己保持機構内で textbfMore textbfAttention textbfTo textbfAudioトークンを支払います。 MMAUとMMARベンチマークの実験により、MATAの有効性が確認され、一貫した性能が向上した。
  論文  参考訳（メタデータ） (2025-09-23T09:02:15Z)
• Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval [58.640807985155554]
  Video Moment Retrieval (VMR)は、特定のクエリに関連する特定のモーメントを検索することを目的としている。 既存のVMRメソッドの多くは、補完的ではあるが重要なオーディオのモダリティを無視しながら、視覚的およびテキスト的モダリティにのみ焦点をあてている。 本稿では,VMRの音声ビジョンコンテキストを動的かつ選択的に集約する,新しいImportance-Aware Multi-Granularity fusion Model (IMG)を提案する。
  論文  参考訳（メタデータ） (2025-08-06T09:58:43Z)
• Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries [18.147981850263708]
  マルチモーダルクエリによってガイドされるオープン語彙SEDのための問合せベースのフレームワークを提案する。 DASMはSEDをフレームレベルの検索タスクとして定式化し、音声機能はテキストやオーディオプロンプトからのクエリベクトルと一致している。 DASMは、局所化精度と新しいクラスへの一般化のバランスを効果的に保ち、オープン語彙設定においてCLAPベースの手法より優れている。
  論文  参考訳（メタデータ） (2025-07-22T08:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。