論文の概要: Do as I do (Safely): Mitigating Task-Specific Fine-tuning Risks in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.10288v3
• Date: Fri, 28 Feb 2025 11:36:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:39:18.710436
• Title: Do as I do (Safely): Mitigating Task-Specific Fine-tuning Risks in Large Language Models
• Title（参考訳）: I do I do (Safely):大規模言語モデルにおけるタスク特化細調整リスクの軽減
• Authors: Francisco Eiras, Aleksandar Petrov, Philip H. S. Torr, M. Pawan Kumar, Adel Bibi,
• Abstract要約: 悪質なアクターが、ほぼすべてのタスク固有のデータセットの構造を微妙に操作して、危険なモデル行動を促進する方法を示す。 本稿では,タスク形式を模倣した安全データとユーザデータのスタイルを混合した新しい緩和戦略を提案する。
• 参考スコア（独自算出の注目度）: 93.08860674071636
• License:
• Abstract: Recent research shows that fine-tuning on benign instruction-following data can inadvertently undo the safety alignment process and increase a model's propensity to comply with harmful queries. While instruction-following fine-tuning is important, task-specific fine-tuning - where models are trained on datasets with clear ground truth answers (e.g., multiple choice questions) - can enhance model performance on specialized downstream tasks. Understanding and mitigating safety risks in the task-specific setting remains distinct from the instruction-following context due to structural differences in the data. Our work demonstrates how malicious actors can subtly manipulate the structure of almost any task-specific dataset to foster significantly more dangerous model behaviors, while maintaining an appearance of innocuity and reasonable downstream task performance. To address this issue, we propose a novel mitigation strategy that mixes in safety data which mimics the task format and prompting style of the user data, showing this is significantly more effective and efficient than existing baselines at re-establishing safety alignment while maintaining similar task performance.
• Abstract（参考訳）: 近年の研究では、良質な命令追従データの微調整が、不注意に安全アライメントプロセスを解き放ち、有害なクエリに適合するモデルの妥当性を高めることが示されている。 命令追従の微調整は重要だが、タスク固有の微調整 - 明確な真実の答え(例えば、複数の選択肢の質問)を持つデータセットでモデルをトレーニングすることで、特定の下流タスクにおけるモデルパフォーマンスを向上させることができる。 タスク固有の設定における安全性リスクの理解と緩和は、データの構造的差異のため、命令追従コンテキストとは相変わらず異なる。 我々の研究は、悪意あるアクターが、ほぼあらゆるタスク固有のデータセットの構造を微妙に操作して、より危険なモデルの振る舞いを育む方法を示します。 課題を解決するために,タスク形式を模倣した安全データとユーザデータのスタイルを混合した新たな緩和戦略を提案する。

関連論文リスト

• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
  低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。 タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。 また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
  論文  参考訳（メタデータ） (2024-12-30T13:12:27Z)
• On the Privacy Risk of In-context Learning [36.633860818454984]
  我々は、プロンプトモデルがプロンプト内で使用されるデータに対して、重大なプライバシーリスクを示すことを示した。 また、トリガーモデルのプライバシリスクが、同じユーティリティレベルで微調整されたモデルを超えることも観察します。
  論文  参考訳（メタデータ） (2024-11-15T17:11:42Z)
• Safety-Aware Fine-Tuning of Large Language Models [29.5636201427693]
  細調整された大規模言語モデル(LLM)は、個々のニーズや好みに合わせてモデルを調整するための一般的なプラクティスとして現れています。 本稿では,有害な可能性のあるデータを自動検出・除去する,新たなSAFT(Safety-Aware Fine-Tuning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-13T21:24:25Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations [63.73044203154743]
  自己教師付き表現学習は、しばしばデータの「スタイル」属性を誘導するためにデータ拡張を使用する。 データの属性が実際に"スタイル"であり、安全に破棄されるような先入観を推論することは困難である。 スタイル機能を捨てるよりも、スタイル機能を切り離そうとする、より原則化されたアプローチを導入します。
  論文  参考訳（メタデータ） (2023-11-15T09:34:08Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。