論文の概要: disco: a toolkit for Distributional Control of Generative Models

• arxiv url: http://arxiv.org/abs/2303.05431v1
• Date: Wed, 8 Mar 2023 18:58:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 13:44:37.232138
• Title: disco: a toolkit for Distributional Control of Generative Models
• Title（参考訳）: disco:生成モデルの分布制御のためのツールキット
• Authors: Germ\'an Kruszewski, Jos Rozen, Marc Dymetman
• Abstract要約: 私たちはdiscoというオープンソースのPythonライブラリを紹介します。 その可能性にもかかわらず、これらのテクニックが広く採用されることは、複雑で非接続なコードに適応することの難しさによって妨げられている。
• 参考スコア（独自算出の注目度）: 4.662591864499645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models and other generative models have revolutionized NLP and beyond. However, these models tend to reproduce undesirable biases present in their training data. Also, they may overlook patterns that are important but challenging to capture. To address these limitations, researchers have introduced distributional control techniques. These techniques, not limited to language, allow controlling the prevalence (i.e., expectations) of any features of interest in the model's outputs. Despite their potential, the widespread adoption of these techniques has been hindered by the difficulty in adapting complex, disconnected code. Here, we present disco, an open-source Python library that brings these techniques to the broader public.
• Abstract（参考訳）: 事前訓練された言語モデルやその他の生成モデルは、NLP以降に革命をもたらした。 しかしながら、これらのモデルは、トレーニングデータに存在する望ましくないバイアスを再現する傾向がある。 また、重要ながキャプチャーが難しいパターンを見落としてしまうこともある。 これらの制限に対処するため、研究者は分布制御技術を導入した。 これらのテクニックは言語に限らず、モデルの出力に対するあらゆる特徴の有病率(すなわち期待)を制御することができる。 潜在的な可能性にもかかわらず、これらのテクニックの広範な採用は、複雑で切り離されたコードへの適応が困難であることによって妨げられている。 ここでは、これらのテクニックを一般公開するオープンソースのPythonライブラリであるdiscoを紹介します。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Matching Pairs: Attributing Fine-Tuned Models to their Pre-Trained Large Language Models [11.57282859281814]
  異なる知識レベルと属性戦略を考慮し、最良の方法で10の微調整されたモデルのうち8つを正確に追跡できることに気付きます。
  論文  参考訳（メタデータ） (2023-06-15T17:42:48Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• A Simple and Interpretable Predictive Model for Healthcare [0.0]
  ディープラーニングモデルは、現在、病気予測のための最先端のソリューションの大半を支配しています。 トレーニング可能なパラメータが数百万に分散したこれらのディープラーニングモデルは、トレーニングとデプロイに大量の計算とデータを必要とします。 EHRデータに適用するための,より単純かつ解釈可能な非深層学習モデルを開発した。
  論文  参考訳（メタデータ） (2020-07-27T08:13:37Z)
• Posterior Control of Blackbox Generation [126.33511630879713]
  我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。 この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
  論文  参考訳（メタデータ） (2020-05-10T03:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。