論文の概要: SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

• arxiv url: http://arxiv.org/abs/2610.26824v1
• Date: Mon, 19 Oct 2026 17:54:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:17:26.636945
• Title: SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum
• Title（参考訳）: SpecMRL:パラメトリックスペクトルにおける再設計マトリシカ表現学習
• Abstract要約: Matryoshka Representation Learning (MRL)は、ネストした接頭辞を共同最適化することにより、フレキシブルな表現サイズをサポートするように設計されている。 より効果的なプレフィックス読み出しを可能にするために特徴空間を再編成するSpecMRLを提案する。
• 参考スコア（独自算出の注目度）: 27.04124172843115
• License:
• Abstract: Matryoshka Representation Learning (MRL) is designed to support flexible representation sizes by jointly optimizing nested prefixes. While effective, this design lacks an explicit constraint to ensure that the leading portion provides a suitable compact encoding. To address this, we propose SpecMRL, which reorganizes the feature space to enable more effective prefix readout. Specifically, we extend MRL with a parameter-derived spectral basis organized with feature importance. SpecMRL otherwise follows standard MRL, with prefix readout performed in the learned spectral space. Experiments on MTEB show that SpecMRL outperforms MRL at all evaluated reduced dimensions, with larger gains under more aggressive compression. These results suggest that the learned spectral basis better prioritizes informative directions, enabling more effective representation compression. Notably, SpecMRL extends the performance frontier of MRL, surpassing full-dimensional MRL with only half the embedding dimensions.
• Abstract（参考訳）: Matryoshka Representation Learning (MRL)は、ネストした接頭辞を共同最適化することにより、フレキシブルな表現サイズをサポートするように設計されている。 有効ではあるが、この設計には、前部が適切なコンパクトエンコーディングを提供することを保証する明示的な制約が欠けている。 そこで本研究では,より効果的なプレフィックス読み出しを可能にするために特徴空間を再編成するSpecMRLを提案する。 具体的には,MRLをパラメータ由来のスペクトルベースで拡張し,特徴を重んじる。 SpecMRLは標準MRLに従い、学習したスペクトル空間でプレフィックス読み出しを行う。 MTEBの実験では、SpecMRLはMRLよりも優れており、よりアグレッシブな圧縮では大きな利得が得られた。 これらの結果から,学習したスペクトルベースがより情報的方向を優先し,より効果的な表現圧縮を実現することが示唆された。 特に、SpecMRLはMRLの性能フロンティアを拡張し、埋め込み次元の半分しか持たないフル次元MRLを超える。

関連論文リスト

• To MRL or not to MRL: Text Embeddings are Robust to Truncation Without Matryoshka Embeddings, Except In Heavy Truncation Scenarios [9.013194002835123]
  Matryoshka Representation Learning (MRL) はテキストエンコーダのトレーニングに広く採用されている手法である。 近年の研究では、ベクトルが少なくとも70%縮小されない限り、ランダムなテキスト埋め込みが下流のパフォーマンスに最小限の影響を及ぼすことが示されている。 MRLとランダム・トランケーションを比較した以前の研究は存在せず、この2つの手法が効果的な埋め込み還元法としてどのように比較されているかは定かではない。
  論文  参考訳（メタデータ） (2026-05-15T20:17:34Z)
• Objective-Specific Privileged Bases via Full-Prefix Matryoshka Learning [5.559798269066]
  本研究では,Matryoshka Representation Learning (MRL) が,分散に基づく,あるいは正規化による順序付けとは異なる,タスク指向の特権ベースをいかに引き起こすかを検討する。 線形設定では、完全変値MRLが順序付き主方向を復元し、共有統計量を用いて効率的に計算できることを示す。
  論文  参考訳（メタデータ） (2026-05-09T20:44:13Z)
• Reinforcement Learning with Promising Tokens for Large Language Models [11.420715885411925]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の整合と最適化のための重要なパラダイムとして登場した。 本稿では,トークン生成から戦略的意思決定を分離することで行動空間の問題を軽減するフレームワークであるReinforcement Learning with Promising Tokens(R)を紹介する。
  論文  参考訳（メタデータ） (2026-02-03T07:08:06Z)
• SOMBRL: Scalable and Optimistic Model-Based RL [78.3360288726531]
  我々は不確実性に直面した楽観主義の原理に基づくアプローチを提案する。 我々はSOMBRLが原理探索のための柔軟でスケーラブルなソリューションであることを示す。 また,動的RCカーハードウェア上でのSOMBRLの評価を行い,その性能について述べる。
  論文  参考訳（メタデータ） (2025-11-25T08:39:21Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models [53.339700196282905]
  大きな言語モデル(dLLM)に強化学習を適用する上で重要な課題は、その可能性関数の抽出性である。 本稿では,ELBOに基づく目的の特別に構築された下界を最大化するメモリ効率のRLアルゴリズムを提案する。 実験によると、BGPOは数学の問題解決、コード生成、計画タスクにおいて、dLLMの以前のRLアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-10-13T17:47:50Z)
• RL-MUL 2.0: Multiplier Design Optimization with Parallel Deep Reinforcement Learning and Space Reduction [8.093985979285533]
  強化学習に基づく乗算器設計最適化フレームワークを提案する。 行列とテンソル表現を乗算器の圧縮木に用いて,畳み込みニューラルネットワークをエージェントネットワークとしてシームレスに統合する。 異なるビット幅の乗算器を用いた実験により, 提案手法により生成した乗算器は, 面積, パワー, 遅延の点で, ベースライン全体の設計よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-31T10:43:33Z)
• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  本稿では,従来のRLによるタスクごとの学習をMeta-RLに入力するハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$よりも長期で累積的な報酬を得られる一方で、メタトレーニング時間を大幅に削減し、アウト・オブ・ディストリビューション・タスクをより一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• Optimal Goal-Reaching Reinforcement Learning via Quasimetric Learning [73.80728148866906]
  準メトリック強化学習(QRL)は、準メトリックモデルを用いて最適な値関数を学習する新しいRL法である。 オフラインおよびオンラインの目標達成ベンチマークでは、QRLはサンプル効率とパフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2023-04-03T17:59:58Z)
• Maximum Entropy RL (Provably) Solves Some Robust RL Problems [94.80212602202518]
  我々は、標準最大エントロピーRLが動的および報酬関数のいくつかの障害に対して堅牢であることを理論的に証明する。 以上の結果から,MaxEnt RL自体が特定の障害に対して頑健であり,追加の修正は不要であることが示唆された。
  論文  参考訳（メタデータ） (2021-03-10T18:45:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。