論文の概要: Demonstrations Are All You Need: Advancing Offensive Content Paraphrasing using In-Context Learning
- arxiv url: http://arxiv.org/abs/2310.10707v2
- Date: Sun, 9 Jun 2024 18:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 04:57:42.914336
- Title: Demonstrations Are All You Need: Advancing Offensive Content Paraphrasing using In-Context Learning
- Title(参考訳): デモは必要なもの - 文脈内学習による攻撃的コンテンツパラフレージングの促進
- Authors: Anirudh Som, Karan Sikka, Helen Gent, Ajay Divakaran, Andreas Kathol, Dimitra Vergyri,
- Abstract要約: 監督されたパラフレーズは、意味と意図を維持するために大量のラベル付きデータに大きく依存している。
本稿では,大規模言語モデル(LLM)を用いたICL(In-Context Learning)を探索し,実践者を支援することを目的とする。
本研究は, 実演数と順序, 即時指導の排除, 測定毒性の低下など, 重要な要因に焦点を当てた。
- 参考スコア(独自算出の注目度): 10.897468059705238
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Paraphrasing of offensive content is a better alternative to content removal and helps improve civility in a communication environment. Supervised paraphrasers; however, rely heavily on large quantities of labelled data to help preserve meaning and intent. They also often retain a large portion of the offensiveness of the original content, which raises questions on their overall usability. In this paper we aim to assist practitioners in developing usable paraphrasers by exploring In-Context Learning (ICL) with large language models (LLMs), i.e., using a limited number of input-label demonstration pairs to guide the model in generating desired outputs for specific queries. Our study focuses on key factors such as - number and order of demonstrations, exclusion of prompt instruction, and reduction in measured toxicity. We perform principled evaluation on three datasets, including our proposed Context-Aware Polite Paraphrase (CAPP) dataset, comprising of dialogue-style rude utterances, polite paraphrases, and additional dialogue context. We evaluate our approach using four closed source and one open source LLM. Our results reveal that ICL is comparable to supervised methods in generation quality, while being qualitatively better by 25% on human evaluation and attaining lower toxicity by 76%. Also, ICL-based paraphrasers only show a slight reduction in performance even with just 10% training data.
- Abstract(参考訳): 攻撃的コンテンツのパラフレーズ化は、コンテンツ削除のより良い代替手段であり、コミュニケーション環境における市民性向上に役立つ。
しかし、意味や意図を保存するための大量のラベル付きデータに大きく依存している。
また、元のコンテンツに対する不快感の大部分を保ち、ユーザビリティに関する疑問を提起することもある。
本稿では,大規模言語モデル(LLM)を用いたインコンテキスト学習(ICL)を探索し,特定のクエリに対して所望のアウトプットを生成する上で,入力ラベルのデモペアを限定的に使用することにより,実践者が有用なパラフレーズの開発を支援することを目的とする。
本研究は, 実演数と順序, 即時指導の排除, 測定毒性の低下など, 重要な要因に焦点を当てた。
提案した文脈対応ポリトパラフレーズ(CAPP)データセットは,対話スタイルの失礼な発話,丁寧な言い回し,追加の対話コンテキストから構成される。
我々は4つのクローズドソースと1つのオープンソースLLMを用いてアプローチを評価した。
以上の結果から,ICLは品質管理手法と同等であり,人体評価では25%,毒性では76%と質的に優れていた。
また、ICLベースのパラフレーズは10%のトレーニングデータでもわずかに性能を低下させるだけである。
関連論文リスト
- ThatiAR: Subjectivity Detection in Arabic News Sentences [10.334164786614696]
本研究では,アラビア語における主観性検出のための最初の大規模データセットを提案する。
3.6K の注釈付き文と GPT-4o に基づく説明で構成されている。
データセット、アノテーションプロセス、および広範なベンチマーク結果を詳細に分析する。
論文 参考訳(メタデータ) (2024-06-08T19:24:17Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-02-17T11:28:08Z) - Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。
評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。
LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
論文 参考訳(メタデータ) (2023-11-13T09:32:12Z) - DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase [37.68804898063595]
In-Context Learning (ICL)と事前訓練された大規模言語モデルを組み合わせることで、様々なNLPタスクにおいて有望な結果が得られた。
textbfData textbfAugmentation for textbfIn-Context textbfLearning (textbfDAIL)を提案する。
論文 参考訳(メタデータ) (2023-11-06T18:12:55Z) - Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。
我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。
このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
論文 参考訳(メタデータ) (2023-10-10T09:20:14Z) - Joint Repetition Suppression and Content Moderation of Large Language
Models [4.9990392459395725]
自然言語生成(NLG)は、NLPにおいて最も影響力のある分野の一つである。
本稿では,トークンとシーケンスレベルを用いた非実効的繰り返し抑制に適用する。
また,攻撃的な単語の生成を避けるために,モデルに協調的に支援するために,違和感のある学習目標の枠組みについても検討する。
論文 参考訳(メタデータ) (2023-04-20T19:17:49Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳(メタデータ) (2023-03-20T17:54:58Z) - Analysis and Evaluation of Language Models for Word Sense Disambiguation [18.001457030065712]
トランスフォーマーベースの言語モデルは、嵐によってNLPの多くの分野を取り込んでいる。
BERTは、ワードセンス毎に限られた数のサンプルが利用できる場合でも、高いレベルの感覚の区別を正確に捉えることができる。
BERTとその派生種は既存の評価ベンチマークの大部分を支配している。
論文 参考訳(メタデータ) (2020-08-26T15:07:07Z) - Meta-Learning with Context-Agnostic Initialisations [86.47040878540139]
メタ学習プロセスにコンテキスト・逆成分を導入する。
これにより、コンテキストに依存しないタスクを一般化したターゲットへの微調整の初期化が実現される。
我々は,3つのメタ学習アルゴリズムと2つの問題に対するアプローチを評価した。
論文 参考訳(メタデータ) (2020-07-29T08:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。