論文の概要: Objective-Specific Privileged Bases via Full-Prefix Matryoshka Learning
- arxiv url: http://arxiv.org/abs/2605.09160v1
- Date: Sat, 09 May 2026 20:44:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.094727
- Title: Objective-Specific Privileged Bases via Full-Prefix Matryoshka Learning
- Title(参考訳): 完全修正マトリオシュカ学習による主観的主観的ベース
- Abstract要約: 本研究では,Matryoshka Representation Learning (MRL) が,分散に基づく,あるいは正規化による順序付けとは異なる,タスク指向の特権ベースをいかに引き起こすかを検討する。
線形設定では、完全変値MRLが順序付き主方向を復元し、共有統計量を用いて効率的に計算できることを示す。
- 参考スコア(独自算出の注目度): 5.559798269066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learned representations are often invariant to rotational transformations, leaving individual dimensions non-identifiable and interchangeable. We study how Matryoshka Representation Learning (MRL) induces a task-aligned privileged basis distinct from variance-based or regularizer-induced orderings. In the linear setting, we prove that full-prefix MRL recovers the ordered principal directions, and can be computed efficiently using shared statistics. Empirically, we demonstrate that MRL yields consistent per-dimension structure aligned with task signal, where coordinate magnitude reflects informativeness.
- Abstract(参考訳): 学習された表現はしばしば回転変換に不変であり、個々の次元は識別不能で交換可能である。
本研究では,Matryoshka Representation Learning (MRL) が,分散に基づく,あるいは正規化による順序付けとは異なる,タスク指向の特権ベースをいかに引き起こすかを検討する。
線形設定では、完全プリフィックスMRLが順序付き主方向を復元し、共有統計量を用いて効率的に計算できることを示す。
実験により,MRLはタスク信号と一貫した1次元構造を呈し,その座標等級は情報度を反映することを示した。
関連論文リスト
- Multivariate Distributional Reinforcement Learning Using Sliced Divergences [37.5115685757579]
Sliced Distributional Reinforcement Learningは、抽出可能な1次元の発散を持ち上げ、射影を通して多変量帰還分布を導出する。
We analyze Wasserstein, Cramér, and Maximum Mean Discrepancy (MMD)
我々は,おもちゃチェーン問題とグリッドワールドイメージベース環境,およびアタリゲームのサブセットに対するSDRLの評価を行った。
論文 参考訳(メタデータ) (2026-05-29T12:26:45Z) - Equivariant Goal Conditioned Contrastive Reinforcement Learning [5.019456977535218]
Contrastive Reinforcement Learning (CRL)は、ラベルのない相互作用から有用な構造化表現を抽出するための有望なフレームワークを提供する。
等変制約を用いた潜在空間をさらに構造化する等変CRLを提案する。
我々のアプローチは、状態ベースと画像ベースの両方の設定において、さまざまなシミュレーションタスクにおいて、強いベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2025-07-22T01:13:45Z) - Deep Reversible Consistency Learning for Cross-modal Retrieval [12.174193446177778]
クロスモーダル検索(CMR)は通常、マルチモーダルサンプル間の類似性を直接測定するために共通の表現を学習する。
既存のCMR法の多くは、ペアでマルチモーダルサンプルを仮定し、共通表現を学ぶために共同トレーニングを採用している。
クロスモーダル検索のためのDeep Reversible Consistency Learning (DRCL) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2025-01-10T03:35:22Z) - RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification [59.5042031913258]
非線型モダリティの相違は主に、異なる材料の表面に作用する様々な線形変換に由来する。
本稿では,MRLE(Modrate Random Linear Enhancement)とRRLE(Radical Random Linear Enhancement)を含むRLE(Random Linear Enhancement)戦略を提案する。
実験結果は、RLEの優位性と有効性を示すだけでなく、クロススペクトル再同定のための汎用データ拡張としての可能性も確認した。
論文 参考訳(メタデータ) (2024-11-02T12:13:37Z) - Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳(メタデータ) (2024-10-13T13:39:39Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z) - Meta Learning MDPs with Linear Transition Models [22.508479528847634]
マルコフ決定過程 (MDP) におけるメタラーニングについて, 線形遷移モデルを用いて検討した。
本稿では,UC-Matrix RLアルゴリズムのバージョンであるBUC-MatrixRLを提案する。
BUC-Matrix RLは,タスクを個別に学習するのに比べて,高バイアス低分散タスク分布に対する伝達後悔の大幅な改善を提供する。
論文 参考訳(メタデータ) (2022-01-21T14:57:03Z) - The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。
十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
論文 参考訳(メタデータ) (2021-03-09T18:46:01Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳(メタデータ) (2020-08-16T16:34:33Z) - FLAMBE: Structural Complexity and Representation Learning of Low Rank
MDPs [53.710405006523274]
この研究は、表現学習の問題に焦点を当てている。
基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。
低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
論文 参考訳(メタデータ) (2020-06-18T19:11:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。