論文の概要: CoS: Enhancing Personalization and Mitigating Bias with Context Steering

• arxiv url: http://arxiv.org/abs/2405.01768v1
• Date: Thu, 2 May 2024 22:37:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 14:15:00.638655
• Title: CoS: Enhancing Personalization and Mitigating Bias with Context Steering
• Title（参考訳）: CoS: コンテキストステアリングによるパーソナライズとバイアスの緩和
• Authors: Jerry Zhi-Yang He, Sashrika Pandey, Mariah L. Schrum, Anca Dragan,
• Abstract要約: コンテキストは大きな言語モデル(LLM)の応答を著しく形作ることができる 本研究では,自動回帰LDMを推論時に容易に適用可能なトレーニング不要な手法であるContext Steering (CoS)を提案する。 モデルバイアスを低減するために、よりパーソナライズを向上し、不要な影響を緩和するために、文脈の影響を増幅することを含む、CoSの様々な応用を紹介した。
• 参考スコア（独自算出の注目度）: 5.064910647314323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When querying a large language model (LLM), the context, i.e. personal, demographic, and cultural information specific to an end-user, can significantly shape the response of the LLM. For example, asking the model to explain Newton's second law with the context "I am a toddler" yields a different answer compared to the context "I am a physics professor." Proper usage of the context enables the LLM to generate personalized responses, whereas inappropriate contextual influence can lead to stereotypical and potentially harmful generations (e.g. associating "female" with "housekeeper"). In practice, striking the right balance when leveraging context is a nuanced and challenging problem that is often situation-dependent. One common approach to address this challenge is to fine-tune LLMs on contextually appropriate responses. However, this approach is expensive, time-consuming, and not controllable for end-users in different situations. In this work, we propose Context Steering (CoS) - a simple training-free method that can be easily applied to autoregressive LLMs at inference time. By measuring the contextual influence in terms of token prediction likelihood and modulating it, our method enables practitioners to determine the appropriate level of contextual influence based on their specific use case and end-user base. We showcase a variety of applications of CoS including amplifying the contextual influence to achieve better personalization and mitigating unwanted influence for reducing model bias. In addition, we show that we can combine CoS with Bayesian Inference to quantify the extent of hate speech on the internet. We demonstrate the effectiveness of CoS on state-of-the-art LLMs and benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)を問う場合、エンドユーザー固有の個人的、人口統計学的、文化的情報といった文脈は、LLMの応答を著しく形作ることができる。 例えば、ニュートンの第二法則を「私は幼児だ」という文脈で説明するよう依頼すると、「私は物理学の教授だ」という文脈とは異なる答えが得られる。 適切な文脈の使用により、LSMはパーソナライズされた応答を生成できるが、不適切な文脈の影響は、ステレオタイプで潜在的に有害な世代(例えば「女性」と「家政婦」を関連付ける)につながる可能性がある。 実際には、コンテキストを活用する際に適切なバランスを取ることは、多くの場合状況に依存している、面倒で困難な問題です。 この課題に対処する一般的なアプローチの1つは、文脈的に適切な応答に基づいてLSMを微調整することである。 しかし、このアプローチは高価で時間がかかり、異なる状況のエンドユーザには制御できない。 本研究では,自動回帰 LLM に推論時に容易に適用可能な簡易なトレーニングフリー手法である Context Steering (CoS) を提案する。 本手法は,トークン予測可能性の観点からコンテキスト影響を計測し,それを調整することにより,特定のユースケースとエンドユーザーベースに基づいて適切なコンテキスト影響のレベルを決定することができる。 モデルバイアスを低減するために、よりパーソナライズを向上し、不要な影響を緩和するために、文脈の影響を増幅することを含む、CoSの様々な応用を紹介した。 さらに,インターネット上でのヘイトスピーチの程度を定量化するために,CoSとベイズ推論を組み合わせることができることを示す。 最先端のLCMとベンチマークにおけるCoSの有効性を実証する。

関連論文リスト

• Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning [74.56097953187994]
  本稿では,テキスト生成タスクのための言語モデルをパーソナライズするチューニング不要な手法であるTrial-Error-Explain In-Context Learning(TICL)を提案する。 TICLは、試行錯誤説明プロセスを通じて、文脈内学習プロンプトを反復的に拡張し、モデル生成陰性サンプルと説明を追加する。 TICLは従来の最先端技術に対して最大91.5%を達成し、パーソナライズされたアライメントタスクのための競争的なチューニング不要のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-02-13T05:20:21Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [66.01597794579568]
  問題をモデル化するために情報ボトルネック理論(IB)を導入する。 IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。 提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
  論文  参考訳（メタデータ） (2024-08-20T02:44:45Z)
• Dual Process Learning: Controlling Use of In-Context vs. In-Weights Strategies with Weight Forgetting [15.69952375347308]
  言語モデルには、コンテキスト内学習(ICL)を実行する能力があり、コンテキストに基づいた振る舞いを柔軟に適応させることができる。 実演モデルと玩具モデルの両方を用いて、単純な音声設定における構造的インコンテキストアルゴリズムについて検討する。 モデルが新しい言語に一般化するのを助けるために最近導入された手法である能動的忘れ字法は、構造的コンテキスト内学習ソリューションを採用するようモデルに強制する。
  論文  参考訳（メタデータ） (2024-05-28T21:38:20Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• Auto-ICL: In-Context Learning without Human Supervision [93.05202223767463]
  本稿では,モデルが問題解決のための例と指示を自律的に生成できる自動文脈学習フレームワークを提案する。 さまざまなモデルやデータセットにわたる実験により、結果は、モデル生成コンテキストが人間の注釈付きコンテキストより優れていることを示している。
  論文  参考訳（メタデータ） (2023-11-15T07:37:28Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。