論文の概要: Disentangling Locality and Entropy in Ranking Distillation

• arxiv url: http://arxiv.org/abs/2505.21058v1
• Date: Tue, 27 May 2025 11:46:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 22:23:40.884671
• Title: Disentangling Locality and Entropy in Ranking Distillation
• Title（参考訳）: ランキング蒸留における局所性とエントロピーの遠ざかる
• Authors: Andrew Parry, Debasis Ganguly, Sean MacAvaney,
• Abstract要約: 我々は, ニューラルランキングにおいて, サンプリングおよび蒸留プロセスの広範囲にわたるアブレーションを行う。 モデル幾何学の性質は, 例選択の影響を受け, 理論的に導出する。 ランキングモデルにおいて,データ拡張がバイアスを効果的に改善する条件を確立する。
• 参考スコア（独自算出の注目度）: 24.600506147325717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training process of ranking models involves two key data selection decisions: a sampling strategy, and a labeling strategy. Modern ranking systems, especially those for performing semantic search, typically use a ``hard negative'' sampling strategy to identify challenging items using heuristics and a distillation labeling strategy to transfer ranking "knowledge" from a more capable model. In practice, these approaches have grown increasingly expensive and complex, for instance, popular pretrained rankers from SentenceTransformers involve 12 models in an ensemble with data provenance hampering reproducibility. Despite their complexity, modern sampling and labeling strategies have not been fully ablated, leaving the underlying source of effectiveness gains unclear. Thus, to better understand why models improve and potentially reduce the expense of training effective models, we conduct a broad ablation of sampling and distillation processes in neural ranking. We frame and theoretically derive the orthogonal nature of model geometry affected by example selection and the effect of teacher ranking entropy on ranking model optimization, establishing conditions in which data augmentation can effectively improve bias in a ranking model. Empirically, our investigation on established benchmarks and common architectures shows that sampling processes that were once highly effective in contrastive objectives may be spurious or harmful under distillation. We further investigate how data augmentation, in terms of inputs and targets, can affect effectiveness and the intrinsic behavior of models in ranking. Through this work, we aim to encourage more computationally efficient approaches that reduce focus on contrastive pairs and instead directly understand training dynamics under rankings, which better represent real-world settings.
• Abstract（参考訳）: ランキングモデルのトレーニングプロセスには、サンプリング戦略とラベル戦略の2つの重要なデータ選択決定が含まれる。 現代のランキングシステム、特にセマンティックサーチを行う場合、一般に「ハード・ネガティブ」サンプリング戦略を用いてヒューリスティックスを用いて挑戦的な項目を識別し、より有能なモデルからランキングの「知識」を移す蒸留ラベリング戦略を用いる。 実際には、これらのアプローチはますます高価になり複雑になり、例えば、Sentence Transformersの一般的な事前訓練されたランク付け者は、再現性を妨げているデータ証明とのアンサンブルに12のモデルを含む。 その複雑さにもかかわらず、現代のサンプリングとラベリング戦略は完全には改善されておらず、基礎となる効果の源泉ははっきりしないままである。 そこで, モデルの改良と, トレーニング有効モデルのコスト削減についてより深く理解するために, ニューラルランキングにおいて, サンプリングおよび蒸留プロセスの広範囲にわたるアブレーションを行う。 我々は,サンプル選択によるモデル幾何学の直交的性質と,教師のランキングエントロピーがランキングモデルの最適化に及ぼす影響を理論的に把握し,データ拡張がランキングモデルのバイアスを効果的に改善する条件を確立する。 確立されたベンチマークと共通アーキテクチャに関する実証研究は、かつては対照的な目的に高い効果があったサンプリングプロセスは、蒸留において刺激的あるいは有害な可能性があることを示唆している。 さらに、インプットとターゲットの観点からデータ拡張が、ランキングにおけるモデルの有効性と本質的な振る舞いにどのように影響するかを考察する。 この研究を通じて、コントラスト的なペアに焦点をあてるよりも、実際の設定をより良く表現したランキングの下でのトレーニングのダイナミックスを直接理解する、より計算的に効率的なアプローチを奨励することを目指している。

関連論文リスト

• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
  本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。 提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
  論文  参考訳（メタデータ） (2024-12-27T04:37:06Z)
• Adversarial Training in Low-Label Regimes with Margin-Based Interpolation [8.585017175426023]
  敵の攻撃に抵抗する堅牢なニューラルネットワークモデルをトレーニングするための効果的なアプローチとして、敵のトレーニングが登場した。 本稿では,頑健性と自然な精度を両立させる,新たな半教師付き対人訓練手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T00:35:13Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• DRoP: Distributionally Robust Data Pruning [11.930434318557156]
  我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。 そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
  論文  参考訳（メタデータ） (2024-04-08T14:55:35Z)
• AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories [18.266786462036553]
  我々は,Smoothと高品質なエキスパートトラジェクトリによるアライメントのための効果的なDDフレームワークASTを提案する。 さまざまなスケール、サイズ、解像度のデータセットに対して、広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-16T16:13:53Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。