論文の概要: Automatic Construction of a Korean Toxic Instruction Dataset for Ethical Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2311.18215v1
• Date: Thu, 30 Nov 2023 03:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 18:03:42.346467
• Title: Automatic Construction of a Korean Toxic Instruction Dataset for Ethical Tuning of Large Language Models
• Title（参考訳）: 大言語モデルの倫理的チューニングのための韓国有毒指導データセットの自動構築
• Authors: Sungjoo Byun, Dongjun Jang, Hyemi Jo, Hyopil Shin
• Abstract要約: 39Kの非倫理的命令出力ペアからなるKoToxを提案する。 この自動生成された有毒な命令の収集は、大規模言語モデルの訓練を洗練させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Caution: this paper may include material that could be offensive or distressing. The advent of Large Language Models (LLMs) necessitates the development of training approaches that mitigate the generation of unethical language and aptly manage toxic user queries. Given the challenges related to human labor and the scarcity of data, we present KoTox, comprising 39K unethical instruction-output pairs. This collection of automatically generated toxic instructions refines the training of LLMs and establishes a foundational framework for improving LLMs' ethical awareness and response to various toxic inputs, promoting more secure and responsible interactions in Natural Language Processing (NLP) applications.
• Abstract（参考訳）: 注意:本論文は攻撃的あるいは苦痛を伴う可能性がある材料を含む可能性がある。 大規模言語モデル(llm)の出現は、非倫理言語の発生を緩和し、有害なユーザクエリを適切に管理するトレーニングアプローチの開発を必要とする。 人間の労働力とデータ不足に関する課題を踏まえ,39Kの非倫理的命令出力ペアからなるKoToxを提示する。 この自動生成された有毒な命令の収集は、LLMの訓練を洗練させ、LLMの倫理的意識と様々な有毒な入力に対する応答を改善し、自然言語処理(NLP)アプリケーションにおけるより安全で責任ある相互作用を促進するための基盤となる枠組みを確立する。

関連論文リスト

• Ontology Population using LLMs [0.9894420655516563]
  知識グラフ(KG)は、データ統合、表現、可視化にますます活用されている。 LLMはそのようなタスクに有望な機能を提供し、自然言語の理解とコンテンツ生成に優れています。 本研究では、Enslaved.org Hub Ontologyに着目し、KG集団に対するLLMの有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-03T15:39:20Z)
• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
  SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。 SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。 Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
  論文  参考訳（メタデータ） (2024-10-04T17:45:15Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Contrastive Perplexity for Controlled Generation: An Application in Detoxifying Large Language Models [25.212449683397647]
  本稿では,暗黙的な知識編集と制御されたテキスト生成のための微調整LDMのためのコントラスト学習目標の統合について検討する。 自己教師型でモデルのトレーニングを容易にするため,市販のLCMを用いてデータ生成のトレーニングを行う。
  論文  参考訳（メタデータ） (2024-01-16T16:49:39Z)
• Instructed Language Models with Retrievers Are Powerful Entity Linkers [87.16283281290053]
  Instructed Generative Entity Linker (INSGENEL)は、カジュアル言語モデルが知識ベース上でエンティティリンクを実行することを可能にする最初のアプローチである。 INSGENEL は、+6.8 F1 点が平均的に上昇する以前の生成的代替よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-06T16:38:51Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Neuro Symbolic Reasoning for Planning: Counterexample Guided Inductive Synthesis using Large Language Models and Satisfiability Solving [23.426866969743525]
  インストラクショントレーニングを備えた生成型大規模言語モデル(LLM)は、プロンプトに対する人間的な応答を生成することができる。 精度が向上したにもかかわらず、これらのモデルは事実的に誤りまたは文脈的に不適切な結果をもたらすことが知られている。 この制限により、これらのモデルを使用して安全クリティカルなアプリケーションで使用される形式的なアーティファクトを合成することが困難になる。
  論文  参考訳（メタデータ） (2023-09-28T13:40:50Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。