論文の概要: How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities

• arxiv url: http://arxiv.org/abs/2504.07113v1
• Date: Thu, 20 Mar 2025 19:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-13 07:22:36.067326
• Title: How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities
• Title（参考訳）: ルータLLMのロバスト性 : LLMルーティング能力の脆弱性の解析
• Authors: Aly M. Kassem, Bernhard Schölkopf, Zhijing Jin,
• Abstract要約: 大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
• 参考スコア（独自算出の注目度）: 62.474732677086855
• License:
• Abstract: Large language model (LLM) routing has emerged as a crucial strategy for balancing computational costs with performance by dynamically assigning queries to the most appropriate model based on query complexity. Despite recent advances showing that preference-data-based routers can outperform traditional methods, current evaluation benchmarks remain limited. They largely focus on general model capabilities while overlooking task-specific behaviors and critical concerns such as privacy, safety, and potential backdoor vulnerabilities introduced through preference data. In response, we propose the DSC benchmark: Diverse, Simple, and Categorized, an evaluation framework that categorizes router performance across a broad spectrum of query types, including coding, translation, mathematics, human instructions, general knowledge, and LLM jailbreaking. Additionally, it integrates privacy and safety assessments to reveal hidden risks. Our experiments on three preference-based routers and two commercial counterparts demonstrate that while these systems improve efficiency, they often make suboptimal, category-driven decisions. For instance, a BERT-based router directs all coding and mathematics queries to the most powerful LLM even when simpler models would suffice, while routing jailbreaking attempts to weaker models, thereby elevating safety risks.
• Abstract（参考訳）: 大規模言語モデル(LLM)ルーティングは,クエリの複雑性に基づいてクエリを最適なモデルに動的に割り当てることで,計算コストと性能のバランスをとる上で重要な戦略として登場した。 最近の進歩は、好みデータベースのルータが従来の手法より優れていることを示しているが、現在の評価ベンチマークは限られている。 それらは主に、タスク固有の振る舞いやプライバシ、安全性、プライバシデータを通じて導入された潜在的なバックドア脆弱性といった重要な懸念を乗り越えながら、一般的なモデル機能に重点を置いている。 DSCベンチマークを提案する。 Diverse, Simple, and Categorizedは,コーディング,翻訳,数学,ヒューマンインストラクション,一般知識,LLMジェイルブレイクなど,幅広いクエリタイプにわたるルータパフォーマンスを分類する評価フレームワークである。 さらに、プライバシーと安全性の評価を統合して、隠れたリスクを明らかにする。 3つの好みに基づくルータと2つの商用ルータの実験により、これらのシステムは効率を向上する一方で、サブ最適、カテゴリー駆動的な決定を下すことがしばしば示されている。 例えばBERTベースのルータは、単純なモデルで十分である場合でも、すべてのコーディングと数学のクエリを最強のLLMに指示する一方で、ジェイルブレイクをルーティングすることでモデルを弱め、安全性のリスクを高める。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Universal Model Routing for Efficient LLM Inference [72.65083061619752]
  我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。 本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。 これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing [56.98081258047281]
  Token-lEvel Routing(CITER)との協調推論は、小規模および大規模言語モデルの効率的な協調を可能にするフレームワークである。 ルータの学習をポリシー最適化として定式化し、予測の質と生成の推論コストの両方に基づいて報酬を受け取る。 実験の結果,CITERは高品質な生成を保ちながら推論コストを低減し,リアルタイムおよびリソース制約のあるアプリケーションに対して有望なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2025-02-04T03:36:44Z)
• InputSnatch: Stealing Input in LLM Services via Timing Side-Channel Attacks [9.748438507132207]
  大規模言語モデル (LLM) には広範な知識と質問応答能力がある。 キャッシュ共有メソッドは、キャッシュされた状態や、同じまたは同様の推論要求に対するレスポンスを再利用することで、効率を高めるために一般的に使用される。 LLMの推論において入力盗難を実行するための新しいタイミングベースのサイドチャネル攻撃を提案する。
  論文  参考訳（メタデータ） (2024-11-27T10:14:38Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.476222570886483]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Advancing TTP Analysis: Harnessing the Power of Large Language Models with Retrieval Augmented Generation [1.2289361708127877]
  大規模言語モデル(LLM)が、サイバーセキュリティなどの重要なドメインに対して正確な応答を提供するために、効率的かつ適切な方法でどのように使用できるかは、不明である。 この研究は、デコーダのみのLLMに対するエンコーダのみのLLM(Retrieval Augmented Generation, RAG)に対する教師付き微調整(SFT)の使用について研究し、比較する。 本研究では,RAGを用いたデコーダのみのLLMが,SFTを用いたエンコーダのみのモデルよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-12-30T16:56:24Z)
• When a RF Beats a CNN and GRU, Together -- A Comparison of Deep Learning and Classical Machine Learning Approaches for Encrypted Malware Traffic Classification [4.495583520377878]
  悪意のあるトラフィック分類の場合、最先端のDLベースのソリューションは、古典的なMLベースのソリューションよりも必ずしも優れているとは限らないことを示す。 マルウェア検出、マルウェア家族分類、ゼロデイ攻撃の検出、反復的に増加するデータセットの分類など、さまざまなタスクに2つのよく知られたデータセットを使用することで、この発見を実証する。
  論文  参考訳（メタデータ） (2022-06-16T08:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。