論文の概要: The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints
- arxiv url: http://arxiv.org/abs/2606.16028v1
- Date: Sun, 14 Jun 2026 21:25:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.995614
- Title: The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints
- Title（参考訳）: 直交制約下における共有表現の情報理論的便益
- Abstract要約: 経験的に、異なる問題を個別に解決するのではなく、類似性を活用すれば、全体的なパフォーマンスが大幅に向上する。
また,各クラスにおける記述長の上限値と上限値について一様ノルムで検証した。
これは、構成多出力アーキテクチャの記述長効率に関する理論的洞察を与える。
- 参考スコア（独自算出の注目度）: 4.192948150195333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern deep learning architectures are increasingly multi-task and multi-modal, using a pretrained foundation model combined with task-specific, fine-tuned models. Empirically, exploiting similarity across different problems, instead of solving them individually, can significantly improve overall performance. While the generalization and sample complexity properties of multitask learning have been widely studied, the parametric complexity of joint approximation in comparison to separate approximation remains less well understood. The question is particularly relevant in modern deep learning, where models are increasingly required to satisfy structural constraints such as equivariance, conservation laws, or orthogonality. We prove lower and upper bounds on the description-length for separate and joint approximation classes, respectively, in uniform norm. We build a class of orthogonal functions by composing a shared hard feature, realized by a Rademacher-Haar wavelet series, with Sawtooth-Walsh readouts to enforce orthogonality of output coordinates. The dyadic tree structure of the Rademacher-Haar wavelet concentrates the approximation hardness in the common feature component, while the readouts act as task-specific heads. Using an information-theoretic framework, we obtain a sharp gap between the optimal approximation rates achievable by joint and separate coding. Finally, we realize this separation in a neural network model using Heaviside activations via reduction to triangle-wave approximation. Our results show that even under an orthogonality constraint joint approximation requires strictly fewer bits in compositional architectures, provided the tasks share a latent hard feature. This provides theoretical insight into the description-length-efficiency of compositional multi-output architectures and clarifies how neural networks can retain expressivity under geometric constraints.
- Abstract（参考訳）: 現代のディープラーニングアーキテクチャは、タスク固有の微調整モデルと組み合わせた事前訓練された基礎モデルを使用して、ますますマルチタスクとマルチモーダルになっている。
経験的に、異なる問題を個別に解決するのではなく、類似性を活用すれば、全体的なパフォーマンスが大幅に向上する。
マルチタスク学習の一般化とサンプル複雑性特性は広く研究されているが、個別の近似と比較して、関節近似のパラメトリック複雑性はよく理解されていない。
この問題は、モデルが等価性、保存法則、直交性といった構造的制約を満たすためにますます必要となる、現代のディープラーニングにおいて特に関係している。
また,各クラスにおける記述長の上限値と上限値について一様ノルムで検証した。
出力座標の直交性を強制するために、Sawtooth-Walshreadoutsを用いて、Rademacher-Haarウェーブレット級数によって実現された共有ハード特徴を構成することで直交関数のクラスを構築する。
Rademacher-Haarウェーブレットのダイアドツリー構造は、共通特徴成分の近似硬度を集中させ、リードアウトはタスク固有ヘッドとして機能する。
情報理論の枠組みを用いて、結合と分離符号化によって得られる最適近似率の鋭い差を求める。
最後に、トライアングル波近似への還元によるヘビサイド活性化を用いたニューラルネットワークモデルにおいて、この分離を実現する。
この結果から,直交制約付き連接近似の下でも,タスクが潜時的なハードな特徴を共有する場合,構成的アーキテクチャにおいて厳密に少ないビットを必要とすることが示唆された。
このことは、合成多出力アーキテクチャの記述長効率に関する理論的洞察を与え、ニューラルネットワークが幾何的制約の下で表現性を維持する方法を明確にする。
関連論文リスト
- Learning Sparse Compositional Functions with Norm-Constrained Neural Networks [8.967327976469653]
深層ネットワークは対象関数の構成構造を活用でき、次元性の呪い(CoD)を効果的に回避できることを示す。
チューリング計算可能な全ての関数はスパース構成表現を許容するので、我々の結果は幅広い適用性を持つ。
論文 参考訳（メタデータ） (2026-05-25T09:02:13Z) - Anisotropic Modality Align [91.23979617826926]
マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。
近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。
中心となる障害は、共有空間の永続的なモダリティギャップにある。
論文 参考訳（メタデータ） (2026-05-08T14:53:24Z) - Quantifying Multimodal Capabilities: Formal Generalization Guarantees in Pairwise Metric Learning [16.068927747527606]
本稿では,マルチモーダル計量学習モデルの一般化特性に関する理論的解析を行う。
我々は、異なるモジュラリティ部分集合に対応する関数クラス間の階層的関係を確立し、学習された写像と基底真理の間の相違を定量化する。
上界と下界の双方で得られた結果は,微粒なモジュラリティ特徴を取り入れることで,モジュラリティ相補性を高めることにより仮説空間の複雑さを減少させることを示した。
論文 参考訳（メタデータ） (2026-05-02T12:44:43Z) - KVNN: Learnable Multi-Kernel Volterra Neural Networks [6.550684951976901]
カーネル化されたVolterra Neural Network (kVNN)
ビデオ行動認識と画像認知の2つの代表的なタスクに関する実験。
大規模な事前トレーニングを行わずに、スクラッチからトレーニングした場合でも、結果は維持される。
論文 参考訳（メタデータ） (2026-04-16T15:18:48Z) - GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。
距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。
クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
論文 参考訳（メタデータ） (2024-10-20T03:45:50Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳（メタデータ） (2023-03-10T14:38:49Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Approximation Theory of Convolutional Architectures for Time Series
Modelling [15.42770933459534]
時系列モデリングに適用した畳み込みアーキテクチャの近似特性について検討する。
近年の結果,データ生成プロセスにおける近似効率とメモリ構造との複雑な関係が明らかになった。
論文 参考訳（メタデータ） (2021-07-20T09:19:26Z) - Robust Submodular Minimization with Applications to Cooperative Modeling [0.0]
本稿では,制約を考慮したロバストな部分モジュラー最小化問題について検討する。
制約付き部分モジュラー最小化は、画像セグメンテーションにおける協調的カット、画像対応における協調的マッチングなど、いくつかの応用で発生する。
論文 参考訳（メタデータ） (2020-01-25T20:40:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。