論文の概要: How Much Physics Can Vision Learn from Audio? Probing and Distilling Damping Structure

• arxiv url: http://arxiv.org/abs/2610.22221v1
• Date: Thu, 15 Oct 2026 17:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.216315
• Title: How Much Physics Can Vision Learn from Audio? Probing and Distilling Damping Structure
• Title（参考訳）: 音から視覚を学べるか? 振動構造を探索・蒸留する
• Abstract要約: それぞれの埋め込み順序が、Spearmanランク相関$$$Q$によってどのように影響するかを報告します。 凍結したオーディオ教師を訓練されたプロジェクションヘッドを介して冷凍したCLIPバックボーンに蒸留し、これがオーディオの利点の有用な部分を取り戻すことを発見した。
• 参考スコア（独自算出の注目度）: 0.3624700141426058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physical understanding is crucial for decision making, yet vision models struggle to infer properties such as damping that govern how materials behave. Audio encodes such properties directly, because an object's acoustic response to impact reveals its damping through measurable decay. We probe frozen encoders for the quality factor $Q$, a dimensionless measure of how many oscillations an object completes before its ring dies away, and report how well each embedding orders impacts by $Q$ using the Spearman rank correlation $ρ$, for which $ρ=1$ is a perfect ordering and $ρ=0$ an unrelated one. Audio embeddings reach $ρ=0.73$ and retain most of that advantage on materials withheld from training, while a single video frame taken at the moment of impact, encoded by CLIP, supports only $ρ=0.28$. Having established where the signal lives, we ask how much of that gap vision can recover. We distill a frozen audio teacher into a frozen CLIP backbone through a trained projection head and find that this recovers a useful fraction of the audio advantage. Because pooled correlations on this task are dominated in practice by category identity, we also evaluate under a leave-one-material-out protocol in which the held-out material is withheld from the projection head as well as the probe. Distillation with a four-frame input improves the correlation there from 0.234 to 0.338 (+0.053 over the matched four-frame baseline, 14 of 17 materials), a gain that no category-level strategy can produce. Widening the visual input to four frames spanning the impact supplies half of that improvement at no acoustic cost, which indicates that part of what a single frame misses is visible dynamics.
• Abstract（参考訳）: 物理的理解は意思決定に不可欠であるが、視覚モデルでは、材料がどのように振る舞うかを規定する減衰などの特性を推測するのに苦労する。 音響は、物体の衝撃に対する音響応答が測定可能な減衰を通して減衰することを明らかにするため、そのような特性を直接符号化する。 品質係数 $Q$ に対して凍結エンコーダを探索し、そのリングが消える前に物体が振動する回数を無次元で測定し、各埋め込み順序が、スピアマンのランク相関式 $ρ$ を用いて、どれだけうまく影響するかを報告する。 オーディオ埋め込みは ρ=0.73$ に到達し、その利点のほとんどをトレーニング対象に保ち、CLIP がエンコードした1つのビデオフレームは ρ=0.28$ しかサポートしていない。 信号がどこにあるかを確立したので、そのギャップビジョンのどれ程が回復できるかを尋ねます。 凍結したオーディオ教師を訓練されたプロジェクションヘッドを介して冷凍したCLIPバックボーンに蒸留し、これがオーディオの利点の有用な部分を取り戻すことを発見した。 このタスクのプール相関は、実際にはカテゴリ識別によって支配されるため、保持された材料をプロジェクションヘッドやプローブから保持する残余の材料アウトプロトコルでも評価する。 4フレーム入力による蒸留により、0.234から0.338(マッチした4フレームベースラインの+0.053、14の材料)の相関性が向上し、カテゴリレベルの戦略が生成できない利得が得られる。 衝撃にまたがる4つのフレームに視覚的な入力を拡大することは、その改善の半分を音響的コストで提供します。

関連論文リスト

• LeAVJEPA: A Minimalist Architecture for Audio-Visual Self-Supervised Learning [16.960316373127768]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のオーディオ視覚エンコーダであるLeAVJEPAを紹介する。 1つの早期融合ビジョントランスフォーマーは、オーディオ、ビデオ、およびジョイントオーディオビデオ入力を処理する。 LeAVJEPAはAudioSet-20Kで36.0mAP、ESC-50で91.3%の精度に達する。
  論文  参考訳（メタデータ） (2026-10-05T12:33:01Z)
• NAVIR: Neuromorphic Audio-Visual Speech Recognition for Robust Human-Robot Interaction on Edge Hardware [0.0]
  NAVIRはBrainChip AkidaニューロモーフィックプロセッサをターゲットにしたエンドツーエンドのAVSRシステムである。 モデルは、ノイズ強化オーディオの接続性時間分類を用いて訓練される。 98.6%のコマンド精度を1.5% WERで達成している。
  論文  参考訳（メタデータ） (2026-09-21T10:36:30Z)
• Component-Aware Differential Privacy for Federated Multilingual Speech-LLMs [43.01574038234673]
  層ごとの差分プライバシー(DP)クリッピングは、パラメータ数に比例した行列ごとのクリッピング予算を割り当てることで、フェデレートラーニングにおける勾配忠実度を向上させる。 このレシピは音声大言語モデル(音声-LLM)において,音声エンコーダと言語デコーダが更新ノルムの桁違いに異なる場合に破られることを示す。
  論文  参考訳（メタデータ） (2026-09-10T16:17:19Z)
• Disparity Has a Sign: Stereo Matching Beyond the Zero-Disparity Plane [52.210414985125816]
  立体視内容が、負の相違に対応するゼロの相違面の背後にある物体をどう含んでいるかを示す。 撮影者が作成した7本の公開映画から21,495ドルのステレオペアのベンチマークである textitZDPShift を提案する。 同じシーンコンテンツでは、ファンデーションは25.24ドルEPEから75.33ドルpxに上昇し、すべてのバックボーンが3ピクセルの差分誤差を超えるピクセルの約半分を残している。
  論文  参考訳（メタデータ） (2026-09-06T19:58:35Z)
• Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning [57.5472764796581]
  本稿では,自己進化型報酬で音声推論を監督する強化学習フレームワークであるAudioRubricsを紹介する。 AudioRubricsは、サンプルごとのルーブリックを生波形から合成し、モデル自身のロールアウト、再生、グループごとのリウェイト基準で条件付けする。 解析の結果,ジェネレータと判定器の能力でゲインがスケールし,AudioRubricsは安定な推論長に収束し,縮退と成長の両面を回避できることがわかった。
  論文  参考訳（メタデータ） (2026-08-03T19:46:13Z)
• Cross-View Variance Correlation in Path-Traced Stereo:A Hidden Shortcut in Synthetic Training Data [0.0]
  パストレーシングされた合成ステレオデータは、多くの不均一推定訓練パイプラインを実現する。 基礎となる共分散場は, 地道不均等ワープに整列すると, 高い相関関係を示す。 この信号はMCレンダリングデータに特有であり、候補のsim-to-realショートカットを構成する。
  論文  参考訳（メタデータ） (2026-06-24T07:13:00Z)
• LightAVSeg: Lightweight Audio-Visual Segmentation [67.18006751024687]
  LightAVSegは、セマンティックフィルタリングと空間接地のための分離された設計に置き換わっている。 実験では、軽量メソッド間で新しい最先端を実現することを実証している。 MS3ベンチマークで50.4 mIoUに達し、モバイルプロセッサでの効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2026-05-09T08:47:54Z)
• Geometric Limits of Knowledge Distillation: A Minimum-Width Theorem via Superposition Theory [0.0]
  知識蒸留は、大規模な教師を小さな学生に圧縮するが、訓練方法や目的を越えて継続する損失フロアでパフォーマンスが飽和する。 このフロアは幾何学的であり、ニューラルネットワークは重ね合わせによって次元よりもはるかに多くの特徴を表現している。 本研究は, 蒸留限界に表現幾何学を結合させ, SAE測定だけで蒸留性能を予測するための実用的なツールを提供する。
  論文  参考訳（メタデータ） (2026-04-05T09:35:56Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• End-to-End Binaural Speech Synthesis [71.1869877389535]
  本稿では,低ビットレート音声システムと強力なデコーダを組み合わせたエンドツーエンド音声合成システムを提案する。 実感的な聴覚シーンを作るために必要な環境効果を捉える上で, 対人的損失がもたらす効果を実証する。
  論文  参考訳（メタデータ） (2022-07-08T05:18:36Z)
• Scenario Aware Speech Recognition: Advancements for Apollo Fearless Steps & CHiME-4 Corpora [70.46867541361982]
  本稿では、TRILLと呼ばれる三重項損失に基づく自己監督基準で訓練された一般的な非意味的音声表現について考察する。 我々は、Fearless Stepsの開発と評価のために、+5.42%と+3.18%の相対的なWER改善を観察した。
  論文  参考訳（メタデータ） (2021-09-23T00:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。