論文の概要: Matryoshka Re-Ranker: A Flexible Re-Ranking Architecture With Configurable Depth and Width

• arxiv url: http://arxiv.org/abs/2501.16302v1
• Date: Mon, 27 Jan 2025 18:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:02.486519
• Title: Matryoshka Re-Ranker: A Flexible Re-Ranking Architecture With Configurable Depth and Width
• Title（参考訳）: Matryoshka Re-Ranker: 構成可能な深さと幅を備えたフレキシブルな再設計アーキテクチャ
• Authors: Zheng Liu, Chaofan Li, Shitao Xiao, Chaozhuo Li, Defu Lian, Yingxia Shao,
• Abstract要約: 大規模言語モデル(LLM)は、微細なテキストの再ランク付けを行うための強力な基盤を提供する。 LLMは計算帯域幅の制約のため、現実的には禁止されることが多い。 我々は、textbfMatroyshka Re-Ranker と呼ばれるtextbfflexibleアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 42.10384230733054
• License:
• Abstract: Large language models (LLMs) provide powerful foundations to perform fine-grained text re-ranking. However, they are often prohibitive in reality due to constraints on computation bandwidth. In this work, we propose a \textbf{flexible} architecture called \textbf{Matroyshka Re-Ranker}, which is designed to facilitate \textbf{runtime customization} of model layers and sequence lengths at each layer based on users' configurations. Consequently, the LLM-based re-rankers can be made applicable across various real-world situations. The increased flexibility may come at the cost of precision loss. To address this problem, we introduce a suite of techniques to optimize the performance. First, we propose \textbf{cascaded self-distillation}, where each sub-architecture learns to preserve a precise re-ranking performance from its super components, whose predictions can be exploited as smooth and informative teacher signals. Second, we design a \textbf{factorized compensation mechanism}, where two collaborative Low-Rank Adaptation modules, vertical and horizontal, are jointly employed to compensate for the precision loss resulted from arbitrary combinations of layer and sequence compression. We perform comprehensive experiments based on the passage and document retrieval datasets from MSMARCO, along with all public datasets from BEIR benchmark. In our experiments, Matryoshka Re-Ranker substantially outperforms the existing methods, while effectively preserving its superior performance across various forms of compression and different application scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、微細なテキストの再ランク付けを行うための強力な基盤を提供する。 しかし、計算帯域幅の制約のため、現実には禁止されることが多い。 本研究では,モデルレイヤの \textbf{runtime customization} と各レイヤのシーケンス長をユーザが設定した上で容易にカスタマイズできるように設計した,‘textbf{Matroyshka Re-Ranker} というアーキテクチャを提案する。 したがって、LLMベースのリランカは、様々な現実世界の状況に応用できる。 柔軟性の向上は、精度の低下の犠牲になる可能性がある。 この問題に対処するために,性能を最適化する一連の手法を導入する。 まず、各サブアーキテクチャーが、スムーズで情報的な教師信号として活用できるスーパーコンポーネントから、正確な再ランク性能を維持するために学習する「textbf{cascaded self-distillation」を提案する。 第2に,階層とシーケンス圧縮の任意の組み合わせによる精度損失を補うために,垂直と水平の2つの協調的な低ランク適応モジュールを共同で使用する,‘textbf{factorized compensation mechanism’ を設計する。 BEIRベンチマークのすべての公開データセットとともに、MSMARCOからのパスと文書検索データセットに基づいて包括的な実験を行う。 我々の実験では、Matryoshka Re-Rankerは既存の手法よりも大幅に優れており、様々な種類の圧縮や異なるアプリケーションシナリオでその優れた性能を効果的に保っている。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation [50.23504065567638]
  本稿では,メタラーニングフレームワークにおける textbfDataset textbfDistillation 手法である textbfTD3 を紹介する。 TD3は、オリジナルのデータから完全に表現力のある合成配列の要約を蒸留する。 拡張技術により、学習者は合成要約を忠実に適合させ、アンプループでの正確な更新を確実にすることができる。
  論文  参考訳（メタデータ） (2025-02-05T03:13:25Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Unified Framework for Neural Network Compression via Decomposition and Optimal Rank Selection [3.3454373538792552]
  本稿では,決定された階数制約内での複合圧縮損失を利用して,分解と最適な階数選択を行う統一的な枠組みを提案する。 提案手法は連続空間におけるランクの自動探索を含み,トレーニングデータを用いることなく最適なランク設定を効率的に同定する。 様々なベンチマークデータセットを用いて,包括的解析により本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-05T14:15:54Z)
• RankAdaptor: Hierarchical Rank Allocation for Efficient Fine-Tuning Pruned LLMs via Performance Model [4.926801686932735]
  そこで我々は,階層的なランクアロケーション手法であるRancedAdaptorを紹介した。 RankAdaptorは、様々なプルーニング設定やLLMアーキテクチャにおいて、最先端のメソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-22T04:52:58Z)
• Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems [33.46891569350896]
  カスケードランキングは、オンライン広告とレコメンデーションシステムにおける大規模なトップk選択問題に広く使われている。 それまでの学習からランクへの取り組みは、モデルに完全な順序やトップクオーダを学習させることに重点を置いていた。 我々はこの手法をアダプティブ・ニューラルランキング・フレームワーク (Adaptive Neural Ranking Framework, ARF) と命名する。
  論文  参考訳（メタデータ） (2023-10-16T14:43:02Z)
• A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression [2.3940819037450987]
  フィルタプルーニングと低ランク分解は構造化圧縮の基礎技術である。 我々は、フィルタ選択、ランク選択、予算制約を1つの分析式に表現できるtextitDifferentiable Framework(DF)を開発した。
  論文  参考訳（メタデータ） (2023-09-21T02:16:05Z)
• AMOM: Adaptive Masking over Masking for Conditional Masked Language Model [81.55294354206923]
  条件付きマスク付き言語モデル(CMLM)は最も汎用性の高いフレームワークの1つである。 本稿では,デコーダの高精細化を実現するため,マスク戦略よりもシンプルで効果的な適応マスキングを提案する。 提案モデルにより,ニューラルマシン翻訳における最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-03-13T20:34:56Z)
• Enhancing Classification with Hierarchical Scalable Query on Fusion Transformer [0.4129225533930965]
  本稿では,学習可能な独立クエリ埋め込みによる階層的手法により,きめ細かい分類を向上する手法を提案する。 階層構造の概念を利用して、あらゆるレベルにわたってスケーラブルなクエリの埋め込みを学びます。 本手法は, 細粒度分類において, 従来の手法よりも11%の精度で性能を向上できる。
  論文  参考訳（メタデータ） (2023-02-28T11:00:55Z)
• Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
  シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。 この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。 私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
  論文  参考訳（メタデータ） (2022-02-02T08:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。