論文の概要: disco: a toolkit for Distributional Control of Generative Models
- arxiv url: http://arxiv.org/abs/2303.05431v1
- Date: Wed, 8 Mar 2023 18:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 13:44:37.232138
- Title: disco: a toolkit for Distributional Control of Generative Models
- Title(参考訳): disco:生成モデルの分布制御のためのツールキット
- Authors: Germ\'an Kruszewski, Jos Rozen, Marc Dymetman
- Abstract要約: 私たちはdiscoというオープンソースのPythonライブラリを紹介します。
その可能性にもかかわらず、これらのテクニックが広く採用されることは、複雑で非接続なコードに適応することの難しさによって妨げられている。
- 参考スコア(独自算出の注目度): 4.662591864499645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained language models and other generative models have revolutionized
NLP and beyond. However, these models tend to reproduce undesirable biases
present in their training data. Also, they may overlook patterns that are
important but challenging to capture. To address these limitations, researchers
have introduced distributional control techniques. These techniques, not
limited to language, allow controlling the prevalence (i.e., expectations) of
any features of interest in the model's outputs. Despite their potential, the
widespread adoption of these techniques has been hindered by the difficulty in
adapting complex, disconnected code. Here, we present disco, an open-source
Python library that brings these techniques to the broader public.
- Abstract(参考訳): 事前訓練された言語モデルやその他の生成モデルは、NLP以降に革命をもたらした。
しかしながら、これらのモデルは、トレーニングデータに存在する望ましくないバイアスを再現する傾向がある。
また、重要ながキャプチャーが難しいパターンを見落としてしまうこともある。
これらの制限に対処するため、研究者は分布制御技術を導入した。
これらのテクニックは言語に限らず、モデルの出力に対するあらゆる特徴の有病率(すなわち期待)を制御することができる。
潜在的な可能性にもかかわらず、これらのテクニックの広範な採用は、複雑で切り離されたコードへの適応が困難であることによって妨げられている。
ここでは、これらのテクニックを一般公開するオープンソースのPythonライブラリであるdiscoを紹介します。
関連論文リスト
- Partially Recentralization Softmax Loss for Vision-Language Models
Robustness [12.079952813850428]
事前学習したマルチモーダルモデルの損失関数を変更することで得られる対向的ロバスト性について検討する。
実験の結果、訓練済みモデルの微調整後、一般的な攻撃に対して、逆方向の頑健性を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2024-02-06T01:44:38Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - Matching Pairs: Attributing Fine-Tuned Models to their Pre-Trained Large
Language Models [11.57282859281814]
異なる知識レベルと属性戦略を考慮し、最良の方法で10の微調整されたモデルのうち8つを正確に追跡できることに気付きます。
論文 参考訳(メタデータ) (2023-06-15T17:42:48Z) - Distilling Model Failures as Directions in Latent Space [87.30726685335098]
本稿では,モデルの故障モードを自動的に抽出するスケーラブルな方法を提案する。
線形分類器を用いて一貫したエラーパターンを識別し、これらの障害モードを特徴空間内の方向として自然な表現を誘導する。
このフレームワークにより、トレーニングデータセット内の課題のあるサブポピュレーションを発見し、自動的にキャプションし、これらのサブポピュレーションにおけるモデルのパフォーマンスを改善することができることを示す。
論文 参考訳(メタデータ) (2022-06-29T16:35:24Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳(メタデータ) (2022-05-19T01:27:53Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳(メタデータ) (2021-02-11T16:27:31Z) - Directed Beam Search: Plug-and-Play Lexically Constrained Language
Generation [6.2211479935811775]
最先端の言語モデルは、管理可能な時間でスクラッチからトレーニングするには大きすぎる。
語彙制約付き言語生成のためのプラグイン・アンド・プレイ方式であるDirected Beam Search (DBS)を提案する。
論文 参考訳(メタデータ) (2020-12-31T03:05:44Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z) - A Simple and Interpretable Predictive Model for Healthcare [0.0]
ディープラーニングモデルは、現在、病気予測のための最先端のソリューションの大半を支配しています。
トレーニング可能なパラメータが数百万に分散したこれらのディープラーニングモデルは、トレーニングとデプロイに大量の計算とデータを必要とします。
EHRデータに適用するための,より単純かつ解釈可能な非深層学習モデルを開発した。
論文 参考訳(メタデータ) (2020-07-27T08:13:37Z) - Posterior Control of Blackbox Generation [126.33511630879713]
我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。
この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
論文 参考訳(メタデータ) (2020-05-10T03:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。