論文の概要: MIPIC: Matryoshka Representation Learning via Self-Distilled Intra-Relational and Progressive Information Chaining

• arxiv url: http://arxiv.org/abs/2604.24374v1
• Date: Mon, 27 Apr 2026 12:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.980719
• Title: MIPIC: Matryoshka Representation Learning via Self-Distilled Intra-Relational and Progressive Information Chaining
• Title（参考訳）: MIPIC:Materyoshka Representation Learning by Self-Distilled intra-Relational and Progressive Information Chaining
• Authors: Phung Gia Huy, Hai An Vu, Minh-Phuc Truong, Thang Duc Tran, Linh Ngo Van, Thanh Hong Nguyen, Trung Le,
• Abstract要約: Matryoshka Representation Learning (MRL)は、ネストした埋め込みを通じて柔軟な推論パラダイムを提供する。 我々は,MIPIC (Matryoshka Representation Learning via Self-Distilled intra-lational Alignment and Progressive Information Chaining) を提案し,構造的に一貫性があり,意味的にコンパクトなMatryoshka表現を生成する。
• 参考スコア（独自算出の注目度）: 16.316971846745528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning is fundamental to NLP, but building embeddings that work well at different computational budgets is challenging. Matryoshka Representation Learning (MRL) offers a flexible inference paradigm through nested embeddings; however, learning such structures requires explicit coordination of how information is arranged across embedding dimensionality and model depth. In this work, we propose MIPIC (Matryoshka Representation Learning via Self-Distilled Intra-Relational Alignment and Progressive Information Chaining), a unified training framework designed to produce structurally coherent and semantically compact Matryoshka representations. MIPIC promotes cross-dimensional structural consistency through Self-Distilled Intra-Relational Alignment (SIA), which aligns token-level geometric and attention-driven relations between full and truncated representations using top-k CKA self-distillation. Complementarily, it enables depth-wise semantic consolidation via Progressive Information Chaining (PIC), a scaffolded alignment strategy that incrementally transfers mature task semantics from deeper layers into earlier layers. Extensive experiments on STS, NLI, and classification benchmarks (spanning models from TinyBERT to BGEM3, Qwen3) demonstrate that MIPIC yields Matryoshka representations that are highly competitive across all capacities, with significant performance advantages observed under extreme low-dimensional.
• Abstract（参考訳）: 表現学習はNLPの基本であるが、異なる計算予算でうまく機能する埋め込みの構築は困難である。 Matryoshka Representation Learning (MRL)は、ネストした埋め込みを通して柔軟な推論パラダイムを提供するが、そのような構造を学習するには、埋め込み次元とモデル深さをまたいだ情報の配置方法を明確に調整する必要がある。 本研究では,MIPIC (Matryoshka Representation Learning via Self-Distilled intra-Relational Alignment and Progressive Information Chaining)を提案する。 MIPICは、トークンレベルの幾何学的および注意駆動的関係を、トップkのCKAによる自己蒸留を用いて整列する自己蒸留内配位(SIA)を通じて、クロス次元構造整合性を促進する。 補完的に、プログレッシブ・インフォメーション・チェイン(PIC)による奥行きのセマンティック・コンソリデーション(Deep-wise semantic Consolidation)を可能にする。 STS, NLI, および分類ベンチマーク(TinyBERT から BGEM3, Qwen3 へのスパンニングモデル)の広範な実験により、MIIC はすべての能力で高い競争力を持つマトリオシカ表現を得られ、極低次元で顕著な性能上の優位性を持つことを示した。

関連論文リスト

• Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
  本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。 ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-18T10:50:46Z)
• Hierarchical Semantic Correlation-Aware Masked Autoencoder for Unsupervised Audio-Visual Representation Learning [3.055416693231887]
  本稿では,3つの相補的な表現レベルにまたがって意味的一貫性を強制する2経路教師学生フレームワークを提案する。 AVEとVEGASの実験では、強い教師なしベースラインよりも大幅にmAPが改善された。
  論文  参考訳（メタデータ） (2026-04-05T19:08:51Z)
• PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation [58.1914505657064]
  本稿では,クラスレベルのセマンティクスと空間コンテキスト間の知識干渉の課題を軽減するために,単純な並列コストアグリゲーション(PCA-Seg)パラダイムを提案する。 8つのベンチマークの実験では、PCA-Segの各並列ブロックは0.35万のパラメータしか追加せず、最先端のOSPS性能を実現している。
  論文  参考訳（メタデータ） (2026-03-18T09:26:43Z)
• TractoRC: A Unified Probabilistic Learning Framework for Joint Tractography Registration and Clustering [9.66539105471215]
  トラクトグラフィー解析における2つの重要な課題は、1)個人間でのストレートラインを整列するトラクトグラム登録、2)ストレートラインをコンパクトなファイバーバンドルにグループ化するストレートラインクラスタリングである。 本稿では,1つの最適化方式でトラクトグラム登録とストリームラインクラスタリングを共同で行う,統一確率的フレームワークであるTractoRCを提案する。
  論文  参考訳（メタデータ） (2026-03-11T05:04:53Z)
• Reconstructing Content via Collaborative Attention to Improve Multimodal Embedding Quality [59.651410243721045]
  CoCoAは、マルチモーダル埋め込み最適化のための協調注意に基づくコンテンツ再構成事前学習パラダイムである。 EOSをベースとした再構築タスクを導入し、対応するEOS>埋め込みからの入力を再構成するようモデルに促す。 MMEB-V1の実験では、Qwen2-VLとQwen2.5-VLをベースにしたCoCoAが埋め込み品質を著しく向上することを示した。
  論文  参考訳（メタデータ） (2026-03-02T05:34:45Z)
• CAM: A Constructivist View of Agentic Memory for LLM-Based Reading Comprehension [55.29309306566238]
  現在のLarge Language Models (LLM) は、長文文書を解釈する際に圧倒的な情報量に直面している。 この課題は、バニラLSMを自律的な読み出しエージェントに高めることができる凝集性メモリモジュールの必須性を高める。 我々はジャン・ピアジェの構成主義理論(Constructivist Theory)からインスピレーションを得て、エージェントメモリの3つの特性(構造化スキーマ、フレキシブルな同化、動的調節)を表現した。
  論文  参考訳（メタデータ） (2025-10-07T02:16:30Z)
• Patch-Level Kernel Alignment for Dense Self-Supervised Learning [7.5866326278176075]
  Patch-level Kernel Alignment (PaKA) は、非パラメトリックなカーネルベースのアプローチで、事前学習した視覚エンコーダの高密度表現をポスト(pre)トレーニングで改善する。 本フレームワークは,事前学習モデル上に軽量な後学習段階を施すことにより,高密度表現を改善する。 1つのGPUで14時間追加のトレーニングを行うだけで、この手法は様々な高密度ビジョンベンチマークで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2025-09-06T05:42:32Z)
• SRKD: Towards Efficient 3D Point Cloud Segmentation via Structure- and Relation-aware Knowledge Distillation [25.38025028623991]
  3Dポイントクラウドセグメンテーションは、大規模トランスフォーマーベースのモデルの計算複雑性とデプロイメント制限のため、現実的な課題に直面している。 SRKDと呼ばれる新しい構造と関係を意識した知識蒸留フレームワークを提案する。このフレームワークは、リッチな幾何学的および意味的な知識を、大きな凍結教師モデルから軽量の学生モデルに伝達する。 提案手法は,実世界の展開シナリオにおいて,モデル複雑性を大幅に低減し,その有効性と効率を実証する。
  論文  参考訳（メタデータ） (2025-06-16T07:32:58Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• Interpretable deformable image registration: A geometric deep learning perspective [9.13809412085203]
  解釈可能な登録フレームワークを設計するための理論的基盤を提示する。 粗い方法で変換を洗練するエンドツーエンドのプロセスを定式化します。 我々は、最先端のアプローチよりもパフォーマンスの指標が大幅に改善されたと結論付けている。
  論文  参考訳（メタデータ） (2024-12-17T19:47:10Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。