論文の概要: Forcing Diffuse Distributions out of Language Models

• arxiv url: http://arxiv.org/abs/2404.10859v1
• Date: Tue, 16 Apr 2024 19:17:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 18:02:19.169348
• Title: Forcing Diffuse Distributions out of Language Models
• Title（参考訳）: 言語モデルから拡散分布を強制する
• Authors: Yiming Zhang, Avi Schwarzschild, Nicholas Carlini, Zico Kolter, Daphne Ippolito,
• Abstract要約: ユーザ命令に従うように特別に訓練されているにもかかわらず、今日の言語モデルは、ランダムなアウトプットを生成するように指示された場合、パフォーマンスが良くない。 本稿では,言語モデルに有効な結果に対して拡散した分布を出力することを奨励する微調整手法を提案する。
• 参考スコア（独自算出の注目度）: 70.28345569190388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite being trained specifically to follow user instructions, today's language models perform poorly when instructed to produce random outputs. For example, when prompted to pick a number uniformly between one and ten Llama-2-13B-chat disproportionately favors the number five, and when tasked with picking a first name at random, Mistral-7B-Instruct chooses Avery 40 times more often than we would expect based on the U.S. population. When these language models are used for real-world tasks where diversity of outputs is crucial, such as language model assisted dataset construction, their inability to produce diffuse distributions over valid choices is a major hurdle. In this work, we propose a fine-tuning method that encourages language models to output distributions that are diffuse over valid outcomes. The methods we introduce generalize across a variety of tasks and distributions and make large language models practical for synthetic dataset generation with little human intervention.
• Abstract（参考訳）: ユーザ命令に従うように特別に訓練されているにもかかわらず、今日の言語モデルは、ランダムなアウトプットを生成するように指示された場合、パフォーマンスが良くない。 例えば、1から10のLlama-2-13B-chatが不均等に5番を選ぶように促された場合、Mistral-7B-Instructは米国人口の40倍の頻度でAveryを選ぶ。 これらの言語モデルが、言語モデル支援データセット構築のような出力の多様性が不可欠である実世界のタスクに使用される場合、有効な選択よりも拡散分布を生成できないことが大きなハードルとなる。 本研究では,言語モデルが有効な結果に対して拡散した分布を出力することを奨励する微調整手法を提案する。 提案手法は,様々なタスクや分布にまたがって一般化され,人間の介入がほとんどない合成データセット生成において,大規模言語モデルを実用的なものにする。

関連論文リスト

• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [56.03057119008865]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor [48.116843121810135]
  非自然的インストラクション(Unnatural Instructions: 創造的で多様なインストラクションの大規模なデータセット)を紹介します。 命令の3つのシード例と4番目の例を抽出した言語モデルによって64,000のサンプルを収集する。 このセットは、モデルに各命令を言い換えるよう促すことで拡張され、約24万の命令、入力、出力の例が生成される。
  論文  参考訳（メタデータ） (2022-12-19T18:21:00Z)
• Nano: Nested Human-in-the-Loop Reward Learning for Few-shot Language Model Control [128.5653008081315]
  Nanoは、人間のフィードバックから継続的に学習する、ループ内の人間訓練アルゴリズムだ。 本研究では,Nanoが不適切な分布を学習し,パーソナライゼーションを実現し,個々の個人の好みの違いを高いサンプル効率で把握できることを示す。
  論文  参考訳（メタデータ） (2022-11-10T18:31:56Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)
• Detecting and Exorcising Statistical Demons from Language Models with Anti-Models of Negative Data [13.392212395386933]
  モデルファミリー内では、パラメータの数、訓練エポック数、データセットのサイズが増加するため、モデルが負のn-gramデータに一般化する能力がある。 本稿では,このような望ましくない信号を正のデータから自動的に学習した負のデータ分布で減衰させる帰納バイアスの形式を提案する。
  論文  参考訳（メタデータ） (2020-10-22T16:45:32Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• An Empirical Study of Factors Affecting Language-Independent Models [11.976665726887733]
  言語に依存しないモデルは、モノリンガルデータを用いて訓練されたモデルに匹敵するか、さらに優れることを示す。 我々は,多くの異なる言語で言語に依存しないモデルを実験し,それらが類型的に類似した言語に適していることを示す。
  論文  参考訳（メタデータ） (2019-12-30T22:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。