論文の概要: Safe and Efficient In-Context Learning via Risk Control

• arxiv url: http://arxiv.org/abs/2510.02480v1
• Date: Thu, 02 Oct 2025 18:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.131162
• Title: Safe and Efficient In-Context Learning via Risk Control
• Title（参考訳）: リスク制御による安全かつ効率的なインコンテキスト学習
• Authors: Andrea Wynn, Metod Jazbec, Charith Peris, Rinat Khaziev, Anqi Liu, Daniel Khashabi, Eric Nalisnick,
• Abstract要約: 大規模言語モデル(LLM)は、いくつかのコンテキスト内サンプルから新しいタスクを学習する。 LLMは不正または悪意のあるデモの影響を受けやすい。 本稿では,有害な実演がモデル性能を低下させる程度を制限するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 34.917821132391374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate a remarkable ability to learn new tasks from a few in-context examples. However, this flexibility introduces safety concerns: LLMs can be influenced by incorrect or malicious demonstrations -- for example, if an adversary tampers with or injects harmful examples without a human supervisor noticing. This motivates principled designs in which the system itself includes built-in mechanisms to guard against such attacks. We propose a novel approach to limit the degree to which harmful demonstrations can degrade model performance. First, we define a baseline ``safe'' behavior for the model -- the model's performance given no in-context demonstrations (zero-shot). Next, we apply distribution-free risk control (DFRC) to control the extent to which in-context samples can decay performance below zero-shot. We achieve this by leveraging dynamic early exit prediction, ignoring later attention heads that attend the most to the unsafe inputs. Finally, we propose modifications to DFRC that allow it to both control risk for harmful inputs \textit{and} leverage performance and efficiency gains on helpful inputs. We present both theoretical and empirical results showing that our approach can effectively control risk for harmful in-context demonstrations while simultaneously achieving substantial computational efficiency gains with helpful demonstrations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、いくつかのコンテキスト内サンプルから新しいタスクを学習する驚くべき能力を示している。 しかし、この柔軟性は安全上の懸念をもたらす: LLMは不正または悪意のあるデモンストレーションの影響を受け得る。 これは、システム自体がそのような攻撃から守るためのビルトイン機構を含む、原則化された設計を動機付けている。 本稿では,有害な実演がモデル性能を低下させる程度を制限するための新しい手法を提案する。 まず、モデルに対するベースラインの ``safe'' の振る舞いを定義します。 次に, 分散自由リスク制御 (DFRC) を用いて, 文脈内サンプルがゼロショット以下の性能を劣化させる程度を制御した。 我々は、安全でない入力に最も近づいた後続の注意を無視して、動的な早期出口予測を活用することで、これを実現する。 最後に、有害な入力に対するリスクを制御できるようにDFRCの修正を提案する。 提案手法は,提案手法により,有害な文脈内デモンストレーションのリスクを効果的に制御できると同時に,有効な実演による計算効率の向上を達成できることを示す。

関連論文リスト

• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint [52.878820730054365]
  インストラクションファインチューニング(IFT)は,大規模言語モデル(LLM)の能力向上のための効果的なポストトレーニング戦略として広く採用されている。 LLMの内部機構に関する最近の研究は、隠蔽状態における拒絶方向(r方向)を同定し、拒絶行動の制御において重要な役割を担っている。 このようなドリフトを緩和するため,提案手法では,各トレーニングサンプルの隠れ状態のr方向への投射の大きさを規則化する投射制約損失項を導入する。
  論文  参考訳（メタデータ） (2025-09-08T15:24:33Z)
• ICLShield: Exploring and Mitigating In-Context Learning Backdoor Attacks [61.06621533874629]
  In-context Learning (ICL)は、大規模言語モデル(LLM)において顕著な成功を収めた。 本稿では,LLMがタスク関連潜伏概念とバックドア関連潜伏概念の両方を同時に学習する,という二重学習仮説を初めて提案する。 そこで本研究では,概念選好比を動的に調整する防衛機構であるICLShieldを提案する。
  論文  参考訳（メタデータ） (2025-07-02T03:09:20Z)
• Representation Bending for Large Language Model Safety [27.842146980762934]
  大きな言語モデル(LLM)は強力なツールとして登場したが、その固有の安全性のリスクは重大な課題を引き起こしている。 本稿では,LLMにおける有害行動の表現を根本的に破壊する新しい手法であるRepBendを紹介する。 RepBendは最先端のパフォーマンスを達成し、Circuit Breaker、RMU、NPOといった従来の手法よりも優れ、攻撃成功率を最大95%削減する。
  論文  参考訳（メタデータ） (2025-04-02T09:47:01Z)
• Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities [49.09703018511403]
  大規模言語モデル(LLM)のリスクと能力の評価は、AIのリスク管理とガバナンスフレームワークにますます取り入れられている。 現在、ほとんどのリスク評価は、システムから有害な振る舞いを誘発する入力を設計することで実施されている。 本稿では,遅延活性化や重みへの修正が可能なモデル改ざん攻撃を用いたLCMの評価を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:16Z)
• Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
  大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。 特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。 本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T09:55:34Z)
• Adversarial Demonstration Attacks on Large Language Models [43.15298174675082]
  本稿では,テキスト内学習(ICL)のセキュリティ問題について,敵対的観点から検討する。 本稿では,入力を変更せずに実演のみを操作することを目的とした,advICLという新しい攻撃手法を提案する。 その結果,実演数が増えるにつれて,文脈内学習の堅牢性が低下することが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T09:40:56Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。