論文の概要: CIViC: Evidence Gates for Audio-Conditioned Visual Prediction on Proxy Tasks

• arxiv url: http://arxiv.org/abs/2610.15327v2
• Date: Wed, 14 Oct 2026 20:29:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.865278
• Title: CIViC: Evidence Gates for Audio-Conditioned Visual Prediction on Proxy Tasks
• Title（参考訳）: CIViC: プロクシータスクにおける音声による視覚予測のためのエビデンスゲート
• Abstract要約: Conditional Input and Visual Interpretation Checks (CIViC) は、インタプリタ、ホールドアウトタスク比較、エンドポイント制御に解釈をリンクする。 本研究では,アクター・ディジョイント・フェース・ラスター・テスト,合成オーディオ・フェース・ミックス,ソース・ビデオ・ディジョイント・アクセシビリティ・タスクのCIViCを実演する。
• 参考スコア（独自算出の注目度）: 20.407891835067822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Removing audio can shift a visual predictor's output without showing whether the task uses the intended audio information. We introduce Conditional Input and Visual Interpretation Checks (CIViC), a four-gate protocol that links an interpretation to an intervention, held-out task comparison, or endpoint control. We demonstrate CIViC on actor-disjoint face-raster tests, a synthetic audio-feature mixture, and source-video-disjoint SpeakerVid proxy tasks. In the static face-raster test, cross-actor audio replacement meets the registered detection rule with a small effect; on a separate temporal endpoint, constant-audio fits score better than audio-trained fits in four matched seeds. In the synthetic mixture, the condition-augmented fit has higher 1,000-step RMSE than the audio-only fit (0.1807 vs. 0.1707), with the gap shrinking during training. In the SpeakerVid proxy, the five-feature-zero fit (five low-level audio summaries zeroed; identity, dialogue, and condition inputs retained) has lower whole-frame grayscale RMSE than aligned audio across four held-out conditions and five paired seeds, while aligned audio has lower segment-drift error. The results show that output activation, held-out error, and endpoint controls support different interpretations across these proxy tasks.
• Abstract（参考訳）: 音声の除去は、タスクが意図した音声情報を使用するかどうかを示すことなく、視覚的予測者の出力をシフトすることができる。 本研究では,4ゲートプロトコルであるConditional Input and Visual Interpretation Checks (CIViC)を導入する。 本研究では,アクター・ディジョイント・フェース・ラスター・テスト,合成オーディオ・フェース・ミックス,ソース・ビデオ・ディジョイント・アクセシビリティ・タスクのCIViCを実演する。 静的フェースラスターテストでは、クロスアクターオーディオ置換は登録された検出規則を小さな効果で満たす。 合成混合物では、条件付きフィットは、オーディオのみのフィット(0.1807 vs. 0.1707)よりも1000ステップのRMSEを持ち、訓練中にギャップが縮む。 SpeakerVidプロキシでは、5つのフィーチャーゼロフィット(5つの低レベルオーディオサマリがゼロ、アイデンティティ、ダイアログ、条件入力が保持される)は、4つのホールドアウト条件と5つのペアシードをまたいだアライメントオーディオよりも、全体のグレースケールRMSEが低いが、アライメントオーディオはセグメントドリフトエラーが低い。 その結果、出力のアクティベーション、ホールドアウトエラー、エンドポイントコントロールがこれらのプロキシタスク間で異なる解釈をサポートすることがわかった。

関連論文リスト

• Listen Before Act: Audio-Conditioned Robot Manipulation with ListenVLA [18.77212272710994]
  視覚アクションモデル(VLA)は、視覚知覚と言語命令をアクション生成に接続することで高度なロボット操作を行う。 本稿では,GR00T N1.7に基づく音声誘導操作のための音声条件付きVLAポリシーであるListenVLAを紹介する。 LIBERO-Audioは,音に基づくターゲット選択,聴覚イベントに対する応答,音響的証拠を明らかにする物理的相互作用を対象とする8タスクのベンチマークである。
  論文  参考訳（メタデータ） (2026-10-12T07:38:53Z)
• Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models [34.99721206808916]
  音声モデルはしばしば、音声証拠が明確であっても、音声と矛盾するテキストに従う。 Gated Audio Counterfactual Logit Correction (GACL)を提案する。 厳格な5ppの忠実度ドロップの予算の下で、GACLは最高のコントラストベースラインよりも17.8ポイントのnAUCを改善している。
  論文  参考訳（メタデータ） (2026-06-03T17:57:51Z)
• Selective Noise Suppression and Discriminative Mutual Interaction for Robust Audio-Visual Segmentation [59.11043512784162]
  本稿では,SNRPモジュールとDAMF戦略を備えたSDAVSを提案する。 実験により,提案手法はベンチマークAVSデータセットの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-15T03:22:24Z)
• Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising [114.39028517171236]
  そこで我々は,ゼロショット音声映像編集を導入し,新たなモデルトレーニングを必要とせず,特定のテキストプロンプトに合わせるために,オリジナル音声映像コンテンツを変換する新しいタスクを提案する。 この課題を評価するために、ゼロショットオーディオビデオ編集用に明示的に設計されたベンチマークデータセットAvED-Benchをキュレートする。 AvEDは、AvED-Benchと最近のOAVEデータセットの両方で優れた結果を示し、その一般化能力を検証する。
  論文  参考訳（メタデータ） (2025-03-26T17:59:04Z)
• AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
  本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。 残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
  論文  参考訳（メタデータ） (2023-08-23T18:20:59Z)
• Anomalous Sound Detection using Audio Representation with Machine ID based Contrastive Learning Pretraining [52.191658157204856]
  コントラスト学習を用いて、各音声サンプルではなく、各機械IDの音声表現を洗練する。 提案手法では、コントラスト学習を用いて音声表現モデルを事前学習する。 実験の結果,本手法はコントラスト学習や自己教師型分類を用いて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-07T11:08:31Z)
• Contrastive Environmental Sound Representation Learning [6.85316573653194]
  我々は,自己監督型コントラスト手法と浅い1次元CNNを利用して,明示的なアノテーションを使わずに独特の音声特徴(音響表現)を抽出する。 生音声波形とスペクトログラムの両方を用いて、所定の音声の表現を生成し、提案した学習者が音声入力の種類に依存しないかどうかを評価する。
  論文  参考訳（メタデータ） (2022-07-18T16:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。