論文の概要: Exploring Safety-Utility Trade-Offs in Personalized Language Models

• arxiv url: http://arxiv.org/abs/2406.11107v1
• Date: Mon, 17 Jun 2024 00:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:53:41.117103
• Title: Exploring Safety-Utility Trade-Offs in Personalized Language Models
• Title（参考訳）: パーソナライズド言語モデルにおける安全・実用取引の探索
• Authors: Anvesh Rao Vijjini, Somnath Basu Roy Chowdhury, Snigdha Chaturvedi,
• Abstract要約: 大規模言語モデル(LLM)はパーソナライズバイアスに悩まされており、ユーザのアイデンティティにパーソナライズされた場合のパフォーマンスに影響を及ぼす。 安全性と実用性という2つの軸に沿ってLLMの性能を評価することにより、パーソナライズバイアスを定量化する。 我々は、嗜好調整とプロンプトベースディフェンスを用いたパーソナライズバイアスを軽減するためのいくつかの戦略について議論する。
• 参考スコア（独自算出の注目度）: 26.792174008353008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) become increasingly integrated into daily applications, it is essential to ensure they operate fairly across diverse user demographics. In this work, we show that LLMs suffer from personalization bias, where their performance is impacted when they are personalized to a user's identity. We quantify personalization bias by evaluating the performance of LLMs along two axes - safety and utility. We measure safety by examining how benign LLM responses are to unsafe prompts with and without personalization. We measure utility by evaluating the LLM's performance on various tasks, including general knowledge, mathematical abilities, programming, and reasoning skills. We find that various LLMs, ranging from open-source models like Llama (Touvron et al., 2023) and Mistral (Jiang et al., 2023) to API-based ones like GPT-3.5 and GPT-4o (Ouyang et al., 2022), exhibit significant variance in performance in terms of safety-utility trade-offs depending on the user's identity. Finally, we discuss several strategies to mitigate personalization bias using preference tuning and prompt-based defenses.
• Abstract（参考訳）: 大規模言語モデル(LLM)が日々のアプリケーションにますます統合されるにつれて、多様なユーザ層にわたって、それらが適切に動作することを保証することが不可欠である。 本研究では,LLMがパーソナライズバイアスに悩まされ,ユーザのアイデンティティにパーソナライズされた場合のパフォーマンスに影響を及ぼすことを示す。 安全性と実用性という2つの軸に沿ってLLMの性能を評価することにより、パーソナライズバイアスを定量化する。 我々は、パーソナライズなしで、安全でないプロンプトに対する良識あるLLM応答がどのように安全であるかを調べることで安全性を測定する。 汎用知識,数学的能力,プログラミング,推論能力など,様々なタスクにおいてLLMの性能を評価することで,実用性を評価する。 Llama (Touvron et al , 2023) や Mistral (Jiang et al , 2023) のようなオープンソースのモデルから GPT-3.5 や GPT-4o (Ouyang et al , 2022) のような API ベースのモデルまで,ユーザアイデンティティによる安全性と実用性のトレードオフの観点からは,さまざまな LLM がパフォーマンスに有意なばらつきを示すことがわかった。 最後に、嗜好調整とプロンプトベースディフェンスを用いたパーソナライズバイアスを軽減するためのいくつかの戦略について議論する。

関連論文リスト

• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation [0.5070610131852027]
  大型言語モデル(LLM)は、偽ニュース記事を生成するために効果的に誤用することができる。 本研究は,近年のオープンおよびクローズドLCMの脆弱性評価により,このギャップを埋めるものである。 以上の結果から,より強力な安全フィルターとディファイラの必要性が示された。
  論文  参考訳（メタデータ） (2024-12-18T09:48:53Z)
• AI PERSONA: Towards Life-long Personalization of LLMs [28.21436822048565]
  本稿では,大規模言語モデルの生涯的パーソナライズという課題を紹介する。 寿命のパーソナライズされたLLMシステムの構築とベンチマークのために、すべてのコードとデータを公開します。
  論文  参考訳（メタデータ） (2024-12-17T17:17:03Z)
• Personalization of Large Language Models: A Survey [131.00650432814268]
  大規模言語モデル(LLM)のパーソナライゼーションは、最近、広範囲のアプリケーションでますます重要になっている。 パーソナライズ LLM に関する既存の研究の多くは、(a)パーソナライズされたテキスト生成、または(b)レコメンデーションシステムのようなパーソナライズに関連する下流アプリケーションに LLM を活用することに集中している。 パーソナライズされたLSM使用のための分類を導入し、主要な違いと課題を要約する。
  論文  参考訳（メタデータ） (2024-10-29T04:01:11Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Few-shot Personalization of LLMs with Mis-aligned Responses [40.0349773257245]
  本稿では,大規模言語モデル(LLM)のパーソナライズのための新しいアプローチを提案する。 私たちのキーとなるアイデアは、LSMを用いてプロンプトを段階的に改善することで、各ユーザに対してパーソナライズされたプロンプトのセットを学ぶことです。 即時改善の反復過程において,LLMによる不整合応答の文脈を取り入れた。
  論文  参考訳（メタデータ） (2024-06-26T18:29:12Z)
• Knowledge Graph Tuning: Real-time Large Language Model Personalization based on Human Feedback [5.778012023739487]
  大規模言語モデル(LLM)をパーソナライズするための知識グラフチューニング(KGT)を提案する。 KGTは、ユーザのクエリとフィードバックからパーソナライズされた事実知識を抽出し、LLMパラメータを変更することなくKGを最適化する。 GPT-2、Llama2、Llama3を含む最先端のLLMによる実験では、KGTはレイテンシとGPUメモリコストを削減しつつ、パーソナライズ性能を著しく改善している。
  論文  参考訳（メタデータ） (2024-05-30T04:57:03Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Personalisation within bounds: A risk taxonomy and policy framework for the alignment of large language models with personalised feedback [11.895749982167375]
  大規模言語モデル(LLM)は、幅広いタスクのコンテンツを生成するために使用され、今後数年でより多くの聴衆にリーチするように設定されている。 これにより、モデルが人間の好みと一致し、安全でない、不正確な、有害なアウトプットを発生させないことを保証する必要性が強まる。 マイクロレベルの嗜好学習プロセスを通じてLLMをパーソナライズすると、各ユーザとの整合性が良くなるモデルが得られる。
  論文  参考訳（メタデータ） (2023-03-09T17:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。