論文の概要: FreeCtrl: Constructing Control Centers with Feedforward Layers for Learning-Free Controllable Text Generation
- arxiv url: http://arxiv.org/abs/2406.09688v1
- Date: Fri, 14 Jun 2024 03:18:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 15:13:35.122342
- Title: FreeCtrl: Constructing Control Centers with Feedforward Layers for Learning-Free Controllable Text Generation
- Title（参考訳）: FreeCtrl: 学習不要テキスト生成のためのフィードフォワード層を用いた制御センタの構築
- Authors: Zijian Feng, Hanzhang Zhou, Zixiao Zhu, Kezhi Mao,
- Abstract要約: 制御可能なテキスト生成(CTG)は、特定の属性に忠実なテキストを作成しようとする。
選択したフィードフォワードニューラルネットワーク(FFN)ベクトルの重みを動的に調整する学習自由なアプローチであるFreeCtrlを提案する。
属性関連FFNベクトルの重みを同定し、適応的に調整することにより、FreeCtrlは生成されたコンテンツ中の属性キーワードの出力可能性を制御することができる。
- 参考スコア（独自算出の注目度）: 12.925771335213156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Controllable text generation (CTG) seeks to craft texts adhering to specific attributes, traditionally employing learning-based techniques such as training, fine-tuning, or prefix-tuning with attribute-specific datasets. These approaches, while effective, demand extensive computational and data resources. In contrast, some proposed learning-free alternatives circumvent learning but often yield inferior results, exemplifying the fundamental machine learning trade-off between computational expense and model efficacy. To overcome these limitations, we propose FreeCtrl, a learning-free approach that dynamically adjusts the weights of selected feedforward neural network (FFN) vectors to steer the outputs of large language models (LLMs). FreeCtrl hinges on the principle that the weights of different FFN vectors influence the likelihood of different tokens appearing in the output. By identifying and adaptively adjusting the weights of attribute-related FFN vectors, FreeCtrl can control the output likelihood of attribute keywords in the generated content. Extensive experiments on single- and multi-attribute control reveal that the learning-free FreeCtrl outperforms other learning-free and learning-based methods, successfully resolving the dilemma between learning costs and model performance.
- Abstract（参考訳）: 制御可能なテキスト生成(CTG)は、特定の属性に忠実なテキストを作成し、従来はトレーニング、微調整、属性固有のデータセットによるプレフィックスチューニングといった学習ベースのテクニックを採用してきた。
これらのアプローチは効果的であるが、広範な計算とデータ資源を必要とする。
対照的に、学習の自由な代替案は学習を回避できるが、しばしば劣った結果をもたらし、計算コストとモデルの有効性の基本的な機械学習トレードオフを実証する。
この制限を克服するために,選択したフィードフォワードニューラルネットワーク(FFN)ベクトルの重みを動的に調整し,大規模言語モデル(LLM)の出力を制御できる学習自由な手法FreeCtrlを提案する。
FreeCtrlは、異なるFFNベクトルの重みが出力に異なるトークンが現れる可能性に影響を与えるという原理に基づいている。
属性関連FFNベクトルの重みを同定し、適応的に調整することにより、FreeCtrlは生成されたコンテンツ中の属性キーワードの出力可能性を制御することができる。
学習自由なFreeCtrlは学習自由で学習に基づく他の手法よりも優れており、学習コストとモデル性能のジレンマの解消に成功している。
関連論文リスト
- Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。
現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。
本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-07T21:36:52Z) - Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。
学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。
本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T00:25:07Z) - A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Equivariant Offline Reinforcement Learning [7.822389399560674]
実演数が少ないオフラインRLに対して,$SO(2)$-equivariantなニューラルネットワークを使用することを検討した。
実験の結果,保守的Q-Learning(CQL)とImplicit Q-Learning(IQL)の同変バージョンは,同変でないQ-Learningよりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-06-20T03:02:49Z) - Reinforcement Learning with Token-level Feedback for Controllable Text Generation [16.117006822479407]
token-Level rewards for controllable text generationを定式化するTOLEという新しい強化学習アルゴリズムを提案する。
実験結果から,本アルゴリズムは単一属性と複数属性の制御タスクにおいて,優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-03-18T08:18:37Z) - Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。
本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。
理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文 参考訳（メタデータ） (2023-04-11T02:12:02Z) - Deep Active Learning Using Barlow Twins [0.0]
畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。
タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。
本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
論文 参考訳（メタデータ） (2022-12-30T12:39:55Z) - Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。
我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文 参考訳（メタデータ） (2022-10-21T21:59:42Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳（メタデータ） (2021-06-14T18:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。