論文の概要: Rate-Distortion Limits for Multimodal Retrieval: Theory, Optimal Codes, and Finite-Sample Guarantees
- arxiv url: http://arxiv.org/abs/2509.11054v1
- Date: Sun, 14 Sep 2025 02:45:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:22.888327
- Title: Rate-Distortion Limits for Multimodal Retrieval: Theory, Optimal Codes, and Finite-Sample Guarantees
- Title（参考訳）: マルチモーダル検索におけるレート歪み限界:理論,最適符号,有限サンプル保証
- Authors: Thomas Y. Chen,
- Abstract要約: マルチモーダル検索のための第一情報理論の限界
エントロピー対応コントラスト目標,連続学習型検索器,検索強化型生成器の設計指針
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We establish the first information-theoretic limits for multimodal retrieval. Casting ranking as lossy source coding, we derive a single-letter rate-distortion function $R(D)$ for reciprocal-rank distortion and prove a converse bound that splits into a modality-balanced term plus a skew penalty $\kappa\,\Delta H$ capturing entropy imbalance and cross-modal redundancy. We then construct an explicit entropy-weighted stochastic quantizer with an adaptive, per-modality temperature decoder; a Blahut-Arimoto argument shows this scheme achieves distortion within $O(n^{-1})$ of $R(D)$ using $n$ training triples. A VC-type analysis yields the first finite-sample excess-risk bound whose complexity scales sub-linearly in both the number of modalities and the entropy gap. Experiments on controlled Gaussian mixtures and Flickr30k confirm that our adaptive codes sit within two percentage points of the theoretical frontier, while fixed-temperature and naive CLIP baselines lag significantly. Taken together, our results give a principled answer to "how many bits per query are necessary" for high-quality multimodal retrieval and provide design guidance for entropy-aware contrastive objectives, continual-learning retrievers, and retrieval-augmented generators.
- Abstract（参考訳）: マルチモーダル検索における最初の情報理論の限界を確立する。
損失源符号としてランク付けすると、逆階歪みに対してシングルレターレート歪み関数$R(D)$が導出され、逆境界がモダリティバランス項に分割され、スキューペナルティ$\kappa\,\Delta H$がエントロピー不均衡とクロスモーダル冗長性を取得することが証明される。
次に、適応的なモードごとの温度デコーダを備えた明示的エントロピー重み付き確率的量子化器を構築し、このスキームが$O(n^{-1})$ of $R(D)$の3重項を$n$のトレーニングを用いて歪みを達成することを示す。
VC型解析では、モダリティの数とエントロピーギャップの両方において、複雑さがサブ線形にスケールする最初の有限サンプル過剰リスク境界が得られる。
制御されたガウス混合物とFlickr30kの実験では、我々の適応コードは理論的なフロンティアの2ポイント以内であり、CLIPは温度が一定であり、単純で低い。
その結果,高品質なマルチモーダル検索には「クエリ毎のビット数がどの程度必要か」という原則的回答が得られ,エントロピー対応のコントラスト目標,連続学習型検索器,検索拡張型生成器の設計指針が得られた。
関連論文リスト
- TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate [13.14434628836727]
ベクトル量子化は、その幾何学構造における歪みを最小限にしながら、高次元ユークリッドベクトルを定量化することを目的としている。
平均二乗誤差(MSE)と内積歪みに対処するTurboQuantを提案する。
オンラインアプリケーションに適したデータ公開アルゴリズムは、ほぼ最適な歪み率を達成する。
論文 参考訳（メタデータ） (2025-04-28T15:05:35Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Efficiently Escaping Saddle Points for Non-Convex Policy Optimization [40.0986936439803]
政策勾配(PG)は、拡張性と優れた性能のために強化学習に広く用いられている。
本稿では,ヘッセンベクトル積 (HVP) の形で二階情報を用いた分散還元二階法を提案し,サンプルの複雑さを$tildeO(epsilon-3)$とする近似二階定常点 (SOSP) に収束する。
論文 参考訳（メタデータ） (2023-11-15T12:36:45Z) - Estimating the Rate-Distortion Function by Wasserstein Gradient Descent [36.24186820465207]
損失圧縮の理論では、レート歪み関数$R(D)$は、データソースが(ビットレートで)どんなレベルの忠実度(歪み)でも圧縮できるかを記述する。
最適輸送の観点から,$R(D)$を推定する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-10-29T05:29:59Z) - Adaptive, Doubly Optimal No-Regret Learning in Strongly Monotone and Exp-Concave Games with Gradient Feedback [75.29048190099523]
オンライン勾配降下(OGD)は、強い凸性や単調性仮定の下では二重最適であることが知られている。
本稿では,これらのパラメータの事前知識を必要としない完全適応型OGDアルゴリズム,textsfAdaOGDを設計する。
論文 参考訳（メタデータ） (2023-10-21T18:38:13Z) - Permutation Compressors for Provably Faster Distributed Nonconvex
Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。
MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文 参考訳（メタデータ） (2021-10-07T09:38:15Z) - Realization of arbitrary doubly-controlled quantum phase gates [62.997667081978825]
本稿では,最適化問題における短期量子優位性の提案に着想を得た高忠実度ゲートセットを提案する。
3つのトランペット四重項のコヒーレントな多レベル制御を編成することにより、自然な3量子ビット計算ベースで作用する決定論的連続角量子位相ゲートの族を合成する。
論文 参考訳（メタデータ） (2021-08-03T17:49:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。