論文の概要: Separating Representation from Reconstruction Enables Scalable Text Encoders

• arxiv url: http://arxiv.org/abs/2607.04011v1
• Date: Sat, 04 Jul 2026 20:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.791316
• Title: Separating Representation from Reconstruction Enables Scalable Text Encoders
• Title（参考訳）: スケーラブルテキストエンコーダを実現する再構成からの表現分離
• Abstract要約: CrossBERTは、高品質な符号化表現の学習をトークン再構成の厳密な基礎から分離する2部アーキテクチャである。 全体として、CrossBERTはMTEB(eng)と凍結したGLUEベンチマークで単調なスケーリングと優れたパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 34.911277341206294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While decoders have rapidly scaled, encoders have remained largely unchanged since BERT. We revisit this disparity by frozen backbone evaluation via probing. Under this lens, the representations of BERT encoders become increasingly $\textit{unexploitable}$ by frozen probes, despite improved perplexity. The misalignment originates in BERT's flat design, which couples representation learning to the token reconstruction loss. We propose $\textbf{CrossBERT}$, a two-part architecture that separates the learning of high-quality encoded representations from the rigid grounding of token reconstruction. This design further enables high masking ratios ($\ge 50\%$) and gradient collection over all tokens via a $\textit{Complementary Masking Strategy}$, respectively increasing throughput by $1.5$ to $2\times$ and sample efficiency by $2\times$. Overall, CrossBERT demonstrates monotonic scaling and superior performance on MTEB(eng, v2) and frozen GLUE benchmarks.
• Abstract（参考訳）: デコーダは急速に拡張されているが、エンコーダはBERT以来ほとんど変化していない。 凍結したバックボーン評価により,この格差を再考する。 このレンズの下で、BERTエンコーダの表現は、パープレキシティが向上したにもかかわらず、凍結プローブにより、ますます$\textit{unexploitable}$となる。 このミスアライメントはBERTのフラットデザインに端を発しており、表現学習とトークン再構成損失を結合している。 トークン再構成の厳密な基礎から高品質な符号化表現の学習を分離する2部アーキテクチャである$\textbf{CrossBERT}$を提案する。 この設計により、高いマスキング比($\ge 50\%$)と、$\textit{Complementary Masking Strategy}$を通じてすべてのトークンに対する勾配収集が可能になる。 全体として、CrossBERTはMTEB(eng, v2)および凍結GLUEベンチマーク上で単調なスケーリングと優れたパフォーマンスを示す。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• G$^2$TR: Generation-Guided Visual Token Reduction for Separate-Encoder Unified Multimodal Models [33.010296874246215]
  分離エンコーダ統一マルチモーダルモデルのための世代誘導型ビジュアルトークン削減フレームワークを提案する。 G$2$TRは、VAEラテントとの整合性からトークンの重要性を推定し、バランスの取れたトークン選択を実行し、冗長トークンを保持されたデリゲートにマージする。 G$2$TRは、推論精度と編集品質の両方を維持しながら、視覚トークンとプリフィル計算を1.94倍に大幅に削減する。
  論文  参考訳（メタデータ） (2026-05-12T15:56:22Z)
• Beyond the Last Layer: Multi-Layer Representation Fusion for Visual Tokenization [22.506725643003403]
  複数層のセマンティック抽象化の後, 残差が減衰しただけに, 低レベルの視覚的詳細が最終層に残っていることを示す。 エネルギー制約付きルーティングとインクリメンタル修正により,すべてのエンコーダ層を集約する軽量核融合モジュールDRoRAEを提案する。 ImageNet-256では、DRoRAEはrFIDを0.57から0.29に削減し、生成FIDを1.74から1.65に改善した。
  論文  参考訳（メタデータ） (2026-05-11T16:14:52Z)
• Spark3R: Asymmetric Token Reduction Makes Fast Feed-Forward 3D Reconstruction [47.55355615080919]
  視覚変換器に基づくフィードフォワード3D再構成モデルは,少数の入力画像からシーン形状とカメラポーズを推定することができる。 数百から数千フレームのビデオ入力にスケールすることは、グローバルアテンションレイヤーの二次的なコストのため、依然として難しい。 本稿では,クエリトークンとキー値トークンの圧縮を分離する,トレーニング不要なアクセラレーションフレームワークSpark3Rを提案する。 再トレーニングを必要としないプラグアンドプレイフレームワークとして、Spark3Rは、事前トレーニングされた複数のフィードフォワード3D再構築モデルに直接統合される。
  論文  参考訳（メタデータ） (2026-05-07T13:45:37Z)
• TC-AE: Unlocking Token Capacity for Deep Compression Autoencoders [51.71228803075235]
  我々は、深部圧縮オートエンコーダのためのViTベースのアーキテクチャであるTC-AEを提案する。 トークン・ツー・ラテント圧縮を2段階に分解し,構造的情報損失を低減する。 画像トークンのセマンティック構造を,共同指導による訓練によって強化し,より生成しやすい潜伏者へと導いた。
  論文  参考訳（メタデータ） (2026-04-08T17:53:52Z)
• BrepGPT: Autoregressive B-rep Generation with Voronoi Half-Patch [61.20046418942948]
  境界表現(B-rep)はCADモデル表現のデファクトスタンダードである。 本稿では,B-rep生成のためのシングルステージ自動回帰フレームワークBrepGPTを提案する。
  論文  参考訳（メタデータ） (2025-11-27T07:16:53Z)
• SSDD: Single-Step Diffusion Decoder for Efficient Image Tokenization [56.12853087022071]
  スケーリングとトレーニングの安定性を向上させるために,新しい画素拡散デコーダアーキテクチャを導入する。 蒸留を用いて, 拡散復号器の性能を効率よく再現する。 これによりSSDDは、敵の損失なしに訓練された単一ステップ再構成に最適化された最初の拡散デコーダとなる。
  論文  参考訳（メタデータ） (2025-10-06T15:57:31Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 このようなモデルのスケーリングには効率性が優先されるため、最先端のMask2Formerでは、変換器エンコーダのみに計算の50%を使用しています。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• SPEAR:Exact Gradient Inversion of Batches in Federated Learning [11.799563040751591]
  フェデレーション・ラーニング(Federated Learning)は、クライアントがサーバとプライベートデータを共有するのではなく、勾配更新のみを共有する機械学習のフレームワークである。 本研究では,バッチ全体を正確に$b > 1$で再構築する最初のアルゴリズムであるSPEARを提案する。 我々は,大規模ネットワークへのスケーリング中に,最大$b以下の25ドルのバッチで高次元イメージネット入力を復元することを示す。
  論文  参考訳（メタデータ） (2024-03-06T18:52:39Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。