論文の概要: To MRL or not to MRL: Text Embeddings are Robust to Truncation Without Matryoshka Embeddings, Except In Heavy Truncation Scenarios

• arxiv url: http://arxiv.org/abs/2605.16608v1
• Date: Fri, 15 May 2026 20:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.330607
• Title: To MRL or not to MRL: Text Embeddings are Robust to Truncation Without Matryoshka Embeddings, Except In Heavy Truncation Scenarios
• Title（参考訳）: MRL か MRL か: テキスト埋め込みは、マトリオシカ埋め込みなしで、重いトランケーションシナリオを除いて、トランケーションにロバストである
• Authors: Sotaro Takeshita, Yurina Takeshita, Simone Paolo Ponzetto, Daniel Ruffinelli,
• Abstract要約: Matryoshka Representation Learning (MRL) はテキストエンコーダのトレーニングに広く採用されている手法である。 近年の研究では、ベクトルが少なくとも70%縮小されない限り、ランダムなテキスト埋め込みが下流のパフォーマンスに最小限の影響を及ぼすことが示されている。 MRLとランダム・トランケーションを比較した以前の研究は存在せず、この2つの手法が効果的な埋め込み還元法としてどのように比較されているかは定かではない。
• 参考スコア（独自算出の注目度）: 9.013194002835123
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Matryoshka Representation Learning (MRL) is a widely adopted approach for training text encoders so they provide useful text representations at various sizes, available by simply truncating the resulting vectors at sizes pre-determined at training time. Recent works have shown that randomly truncating text embeddings has minimal impact in downstream performance unless vectors are reduced in size by at least 70%, suggesting that embeddings are already robust to truncation without the use of MRL. However, no prior work has compared random truncation to MRL, so it is unclear how the two methods compare as effective embedding reduction methods. In this paper, we study this by applying the same truncation used by MRL to models trained with and without MRL. Our results across several models and downstream tasks show that, unless heavily truncating embeddings (i.e. reducing their size by at least 80%), truncated embeddings of non-MRL models are competitive with, and often outperform models trained with MRL. This suggests that truncation robustness may not necessarily come from MRL, and that the choice of spending the additional training cost of MRL depends on whether heavy truncation is desired.
• Abstract（参考訳）: Matryoshka Representation Learning(MRL)は、テキストエンコーダをトレーニングするために広く採用されているアプローチであり、トレーニング時に事前に決定されたサイズで生成されたベクトルを単に切り詰めることによって、様々なサイズで有用なテキスト表現を提供する。 近年の研究では、ベクトルのサイズを70%以上削減しない限り、ランダムなテキスト埋め込みがダウンストリーム性能に最小限の影響を及ぼすことが示されており、MRLを使わずに既に埋め込みがトランケーションに対して堅牢であることが示唆されている。 しかし, MRLとランダム・トランケーションを比較した先行研究は存在せず, 有効埋込み低減法として2つの手法がどう比較されたかは定かではない。 本稿では,MRL を用いて訓練したモデルに対して,MRL が使用する同じトランケーションを適用して検討する。 以上の結果から, MRL モデルと競合し, MRL で訓練されたモデルよりも優れていることが示唆された。 このことから, トランケーションの堅牢性は必ずしもMRLからではなく, 重トランケーションが望まれるかどうかによって, MRLのさらなるトレーニングコストを費やすという選択が可能であることが示唆された。

関連論文リスト

• Gradually Compacting Large Language Models for Reasoning Like a Boiling Frog [72.4168434368873]
  大きな言語モデル(LLM)は印象的な推論能力を示しているが、その相当なサイズは、しばしばかなりの計算資源を必要とする。 圧縮過程を細かな繰り返しに分割する段階的圧縮法を提案する。 この「沸騰するカエル」効果の反復的なアプローチは、急激な性能損失を伴わずに、モデルを段階的に圧縮することができる。
  論文  参考訳（メタデータ） (2026-02-04T06:56:52Z)
• Transitive RL: Value Learning via Divide and Conquer [54.190627631246166]
  Transive Reinforcement Learning (TRL) は、分割・分散パラダイムに基づく新しい価値学習アルゴリズムである。 モンテカルロ法とは異なり、TRLは動的プログラミングを実行するため、高分散に苦しむ。
  論文  参考訳（メタデータ） (2025-10-26T03:32:31Z)
• Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
  オンライン価値ベースディープRLの計算スケーリングについて検討する。 解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。 この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
  論文  参考訳（メタデータ） (2025-08-20T17:54:21Z)
• Beyond Matryoshka: Revisiting Sparse Coding for Adaptive Representation [42.590255022001145]
  Matryoshka Representation Learning (MRL) は適応的な埋め込み長のソリューションとして最近登場した。 スパース符号化は、最小限のオーバーヘッドと高い忠実度で適応表現を実現するための魅力的な代替手段であることを示す。
  論文  参考訳（メタデータ） (2025-03-03T17:59:48Z)
• Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
  実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。 標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。 本研究では, MRL の頑健な目標を制御レベルで定義する。 ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
  論文  参考訳（メタデータ） (2023-01-26T14:54:39Z)
• An Analysis of Model-Based Reinforcement Learning From Abstracted Observations [24.964038353043918]
  オンラインで収集したサンプル(例えば実世界のサンプル)とモデルベース強化学習(MBRL)の結果の依存関係を抽象化することで実現可能であることを示す。 我々はこの問題を克服するためにマルティンガレの濃度不等式を使用できることを示す。 原型的MBRLアルゴリズムであるR-MAXと抽象化を組み合わせることで、モデルベースの「抽象観測からのRL」に対する最初の性能保証を生成する。
  論文  参考訳（メタデータ） (2022-08-30T17:19:26Z)
• Recurrent Model-Free RL is a Strong Baseline for Many POMDPs [73.39666827525782]
  メタRL、ロバストRL、RLの一般化など、RLの多くの問題はPOMDPとしてキャストできる。 理論上は、リカレントニューラルネットワークなどのメモリによるモデルフリーRLの増大は、あらゆるタイプのPOMDPを解決するための一般的なアプローチを提供する。 以前の研究で、そのような繰り返しモデルなしのRL法は、特定のタイプのPOMDP向けに設計された、より特殊なアルゴリズムよりもパフォーマンスが悪くなっていることが判明した。
  論文  参考訳（メタデータ） (2021-10-11T07:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。