論文の概要: Rerouting LLM Routers

• arxiv url: http://arxiv.org/abs/2501.01818v1
• Date: Fri, 03 Jan 2025 14:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:11:50.475826
• Title: Rerouting LLM Routers
• Title（参考訳）: LLMルータのランニング
• Authors: Avital Shafran, Roei Schuster, Thomas Ristenpart, Vitaly Shmatikov,
• Abstract要約: LLMルータは、クエリを分類し、それらの複雑さに応じて、より安く、より高価なLCMにルーティングすることで、生成の品質とコストのバランスをとる。 本稿では,ルータの対向ロバスト性について検討する。
• 参考スコア（独自算出の注目度）: 27.16232746301828
• License:
• Abstract: LLM routers aim to balance quality and cost of generation by classifying queries and routing them to a cheaper or more expensive LLM depending on their complexity. Routers represent one type of what we call LLM control planes: systems that orchestrate use of one or more LLMs. In this paper, we investigate routers' adversarial robustness. We first define LLM control plane integrity, i.e., robustness of LLM orchestration to adversarial inputs, as a distinct problem in AI safety. Next, we demonstrate that an adversary can generate query-independent token sequences we call ``confounder gadgets'' that, when added to any query, cause LLM routers to send the query to a strong LLM. Our quantitative evaluation shows that this attack is successful both in white-box and black-box settings against a variety of open-source and commercial routers, and that confounding queries do not affect the quality of LLM responses. Finally, we demonstrate that gadgets can be effective while maintaining low perplexity, thus perplexity-based filtering is not an effective defense. We finish by investigating alternative defenses.
• Abstract（参考訳）: LLMルータは、クエリを分類し、それらの複雑さに応じて、より安く、より高価なLCMにルーティングすることで、生成の品質とコストのバランスをとることを目的としている。 ルータはLLMコントロールプレーンと呼ばれる,1つ以上のLLMをオーケストレーションするシステムのひとつです。 本稿では,ルータの対向ロバスト性について検討する。 まず,LLM制御平面の整合性,すなわち逆入力に対するLLMオーケストレーションの堅牢性を,AIの安全性における別の問題として定義する。 次に,クエリに付加された場合,LDMルータが強いLSMにクエリを送信するような,クエリ非依存のトークンシーケンスを生成することを実証する。 我々の定量的評価では、この攻撃は様々なオープンソースのルータや商用ルータに対して、ホワイトボックスとブラックボックスの設定の両方で成功しており、コンバウンドクエリはLLM応答の品質に影響を与えない。 最後に、低難易度を維持しながらガジェットが有効であることを示すので、難易度に基づくフィルタリングは効果的な防御にはならない。 私たちは代替防衛を調査して終わります。

関連論文リスト

• Universal Model Routing for Efficient LLM Inference [72.65083061619752]
  我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。 本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。 これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)
• QROA: A Black-Box Query-Response Optimization Attack on LLMs [2.7624021966289605]
  大規模言語モデル(LLM)は近年人気が高まっているが、操作時に有害なコンテンツを生成する能力を持っている。 本研究は,問合せのみの相互作用を通じてLCMを利用する最適化戦略であるクエリ応答最適化攻撃(QROA)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T07:27:36Z)
• MoGU: A Framework for Enhancing Safety of Open-Sourced LLMs While Preserving Their Usability [25.750371424096436]
  大規模言語モデル(LLM)は、様々なアプリケーションにますます多くデプロイされている。 我々の研究は、既存の防衛戦略がLLMに主に拒絶指向の姿勢を採用することを示唆している。 ユーザビリティを保ちつつ,LLMの安全性を高めるために設計されたMoGUフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-23T12:19:59Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.068035947969044]
  計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。 本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
  論文  参考訳（メタデータ） (2024-02-02T14:43:18Z)
• MART: Improving LLM Safety with Multi-round Automatic Red-Teaming [72.2127916030909]
  本稿では,自動対向的なプロンプト書き込みと安全な応答生成の両方を組み込んだMulti-round Automatic Red-Teaming(MART)手法を提案する。 敵のプロンプトベンチマークでは、安全アライメントが制限されたLDMの違反率は、MARTの4ラウンド後に84.7%まで減少する。 特に、非敵対的なプロンプトに対するモデルの有用性は反復を通して安定しており、LLMは命令に対する強い性能を維持していることを示している。
  論文  参考訳（メタデータ） (2023-11-13T19:13:29Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples! [43.51393135075126]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著な進歩を遂げています。 その結果,従来のLCMは微調整SLMに比べて性能が劣り,レイテンシが高く,予算要求も増大していることがわかった。 LLMの強度とSLMの強度を結合する適応フィルタ-then-rerankパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T12:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。