論文の概要: On the Scaling of Robustness and Effectiveness in Dense Retrieval

• arxiv url: http://arxiv.org/abs/2505.24279v1
• Date: Fri, 30 May 2025 06:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.815918
• Title: On the Scaling of Robustness and Effectiveness in Dense Retrieval
• Title（参考訳）: 密度検索におけるロバストネスのスケーリングと有効性について
• Authors: Yu-An Liu, Ruqing Zhang, Jiafeng Guo, Maarten de Rijke, Yixing Fan, Xueqi Cheng,
• Abstract要約: ロバストさと有効性は、現実世界のアプリケーションのための密集した検索モデルを開発する上で重要な側面である。 最近の研究は、高密度検索における有効性のスケーリング法則に対処し、モデルとデータのサイズと有効性の間には、ゆるい関係があることを明らかにしている。 堅牢性と有効性は異なるスケーリングパターンを示しており、両方を共同で改善する場合、かなりのリソースコストがかかります。
• 参考スコア（独自算出の注目度）: 111.58315434849047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness and Effectiveness are critical aspects of developing dense retrieval models for real-world applications. It is known that there is a trade-off between the two. Recent work has addressed scaling laws of effectiveness in dense retrieval, revealing a power-law relationship between effectiveness and the size of models and data. Does robustness follow scaling laws too? If so, can scaling improve both robustness and effectiveness together, or do they remain locked in a trade-off? To answer these questions, we conduct a comprehensive experimental study. We find that:(i) Robustness, including out-of-distribution and adversarial robustness, also follows a scaling law.(ii) Robustness and effectiveness exhibit different scaling patterns, leading to significant resource costs when jointly improving both. Given these findings, we shift to the third factor that affects model performance, namely the optimization strategy, beyond the model size and data size. We find that: (i) By fitting different optimization strategies, the joint performance of robustness and effectiveness traces out a Pareto frontier. (ii) When the optimization strategy strays from Pareto efficiency, the joint performance scales in a sub-optimal direction. (iii) By adjusting the optimization weights to fit the Pareto efficiency, we can achieve Pareto training, where the scaling of joint performance becomes most efficient. Even without requiring additional resources, Pareto training is comparable to the performance of scaling resources several times under optimization strategies that overly prioritize either robustness or effectiveness. Finally, we demonstrate that our findings can help deploy dense retrieval models in real-world applications that scale efficiently and are balanced for robustness and effectiveness.
• Abstract（参考訳）: ロバスト性と有効性は、現実世界のアプリケーションのための密集した検索モデルを開発する上で重要な側面である。 両者の間にはトレードオフがあることが知られている。 最近の研究は、高密度検索における有効性のスケーリング法則に対処し、モデルとデータのサイズと有効性の間には、ゆるい関係があることを明らかにしている。 堅牢性もスケーリングの法則に従いますか? もしそうなら、スケーラビリティは堅牢性と有効性の両方を一緒に改善できるだろうか? これらの疑問に答えるために、我々は総合的な実験研究を行う。 以下に示す。 (i)非分配性や敵対的堅牢性を含むロバスト性もスケーリング法則に従っている。 (II)ロバストさと有効性は異なるスケーリングパターンを示し、両者を共同で改善する際にかなりのリソースコストをもたらす。 これらの結果から、モデルのサイズやデータサイズを超えて、モデルパフォーマンス、すなわち最適化戦略に影響を与える第3の要因にシフトする。 以下に示す。 一 異なる最適化戦略を適合させることにより、ロバスト性及び有効性の合同性能は、パレートフロンティアをトレースする。 2) 最適化戦略がパレート効率から逸脱した場合, 共同性能は準最適方向にスケールする。 3) 最適化重量をパレート効率に合わせることで, パレートトレーニングを達成でき, 関節性能のスケーリングが最も効率的になる。 余分なリソースを必要とせずに、Paretoトレーニングは、堅牢性または有効性を過度に優先順位付けする最適化戦略の下で、リソースを数回スケーリングするパフォーマンスに匹敵する。 最後に,本研究の成果は,効率よくスケールし,ロバスト性と有効性にバランスが取れた実世界のアプリケーションに,高密度検索モデルをデプロイする上で有効であることを示す。

関連論文リスト

• Clustering-based Meta Bayesian Optimization with Theoretical Guarantee [9.821653903127107]
  異種および大規模メタタスクにおける重要な課題に対処するために,スケーラブルで堅牢なメタBO手法を提案する。 提案手法は,移動したメタファンクションを高均一なクラスタに効果的に分割し,幾何学に基づくサロゲートプロトタイプを学習し,オンラインフェーズにおいてメタプライアを適応的に合成する。
  論文  参考訳（メタデータ） (2025-03-08T06:46:28Z)
• Towards Fair Class-wise Robustness: Class Optimal Distribution Adversarial Training [1.5565181723989001]
  敵の訓練は、敵の攻撃に対するディープニューラルネットワークの堅牢性を改善するための非常に効果的な方法であることが証明されている。 頑健な公正性の点で制限を示すことが観察されており、異なるクラス間での堅牢性の顕著な相違が特徴である。 この問題を緩和する最近の取り組みは、クラスワイドな方法に変わった。 本稿では,新しいmin-maxトレーニングフレームワーク,Class Optimal Distribution Adversarial Trainingを提案する。
  論文  参考訳（メタデータ） (2025-01-08T14:19:03Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• Towards Resilient and Efficient LLMs: A Comparative Study of Efficiency, Performance, and Adversarial Robustness [0.0]
  大規模言語モデル (LLM) の効率性, 性能, 対向ロバスト性の間のトレードオフについて検討する。 我々は,Transformer++, Gated Linear Attention (GLA) Transformer, MatMul-Free LM という,複雑さと効率の異なる3つの顕著なモデルについて実験を行った。 その結果,GLA Transformer と MatMul-Free LM は GLUE タスクではわずかに精度が低いが,高い効率性を示し,AdvGLUE タスクではより優れているか、比較的堅牢であることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:54:40Z)
• Effective Interplay between Sparsity and Quantization: From Theory to Practice [33.697590845745815]
  組み合わせると、空間性と量子化がどう相互作用するかを示す。 仮に正しい順序で適用しても、スパーシリティと量子化の複合誤差は精度を著しく損なう可能性があることを示す。 我々の発見は、資源制約の計算プラットフォームにおける大規模モデルの効率的な展開にまで及んでいる。
  論文  参考訳（メタデータ） (2024-05-31T15:34:13Z)
• Efficiency optimization of large-scale language models based on deep learning in natural language processing tasks [6.596361762662328]
  大規模言語モデルの内部構造と操作機構を理論的に解析する。 我々は、適応最適化アルゴリズム(AdamWなど)、大規模並列計算技術、混合精度訓練戦略の寄与を評価した。
  論文  参考訳（メタデータ） (2024-05-20T00:10:00Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。