論文の概要: CBF-LLM: Safe Control for LLM Alignment
- arxiv url: http://arxiv.org/abs/2408.15625v1
- Date: Wed, 28 Aug 2024 08:25:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 16:53:03.823929
- Title: CBF-LLM: Safe Control for LLM Alignment
- Title（参考訳）: CBF-LLM:LLMアライメントの安全制御
- Authors: Yuya Miyaoka, Masaki Inoue,
- Abstract要約: 本稿では,制御障壁関数(CBF)を利用した大規模言語モデル(LLM)の整合化のための制御ベースフレームワークを提案する。
提案フレームワークは、CBFに基づいて設計された安全フィルタを、生成されたテキストに介入することを目的としたベースラインLLMの出力生成に適用する。
この実験は、ユーザ特定アライメントタスクに必要な介入回数を減らすための制御能力と有効性を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper proposes a control-based framework for aligning large language models (LLMs) by leveraging a control barrier function (CBF) to ensure user-desirable text generation. The presented framework applies the safety filter, designed based on the CBF, to the output generation of the baseline LLM, i.e., the sequence of the token, with the aim of intervening in the generated text. The overall text-generation system is implemented with Llama 3 and a RoBERTa model, and the source code is available at https://github.com/Mya-Mya/CBF-LLM. The experiment demonstrates its control ability and effectiveness in reducing the number of interventions needed for user-specified alignment tasks.
- Abstract（参考訳）: 本稿では,制御バリア関数(CBF)を活用してユーザ希望のテキスト生成を実現することで,大規模言語モデル(LLM)の整合性を確保するための制御ベースフレームワークを提案する。
提案したフレームワークは、CBFに基づいて設計された安全フィルタをベースラインLCMの出力生成、すなわちトークンのシーケンスに適用し、生成されたテキストに介入する。
テキスト生成システムはLlama 3とRoBERTaモデルで実装されており、ソースコードはhttps://github.com/Mya-Mya/CBF-LLMで公開されている。
この実験は、ユーザ特定アライメントタスクに必要な介入回数を減らすための制御能力と有効性を示す。
関連論文リスト
- Pareto Control Barrier Function for Inner Safe Set Maximization Under Input Constraints [50.920465513162334]
入力制約下での動的システムの内部安全集合を最大化するPCBFアルゴリズムを提案する。
逆振り子に対するハミルトン・ヤコビの到達性との比較と,12次元四元数系のシミュレーションにより,その有効性を検証する。
その結果,PCBFは既存の手法を一貫して上回り,入力制約下での安全性を確保した。
論文 参考訳（メタデータ） (2024-10-05T18:45:19Z) - Open-domain Implicit Format Control for Large Language Model Generation [52.83173553689678]
大規模言語モデル(LLM)における制御生成のための新しいフレームワークを提案する。
本研究では、LLMがオープンドメイン、ワンショット制約に従う能力と、サンプル回答の形式を再現する能力について検討する。
また、出力品質を劣化させることなく、LLMのオープンドメインフォーマット制御を強化する教師付き微調整のためのデータセット収集手法を開発した。
論文 参考訳（メタデータ） (2024-08-08T11:51:45Z) - Reinforcement Learning-based Receding Horizon Control using Adaptive Control Barrier Functions for Safety-Critical Systems [14.166970599802324]
最適制御法は、安全クリティカルな問題に対する解決策を提供するが、容易に難解になる。
モデル予測制御を利用した強化学習に基づく回帰水平制御手法を提案する。
我々は、コネクテッド・アンド・オートマチック・ビークルにおける自動マージ制御問題に適用し、本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-03-26T02:49:08Z) - A Comparative Study of Artificial Potential Fields and Safety Filters [10.525846641815788]
人工電位場は,最近普及している制御バリア関数二次プログラム(CBF-QP)の安全性フィルタから導出できることを示す。
我々はCBF-QP安全フィルタの設計を拡張し、制御アフィン構造を特徴とするより一般的な動的モデルに対応する。
論文 参考訳（メタデータ） (2024-03-23T07:14:27Z) - Controllable Text Generation with Residual Memory Transformer [4.9329649616940205]
任意の時間ステップでCLMを生成するための,非侵襲的で軽量な制御プラグインを提案する。
提案されているプラグイン、すなわちResidual Memory Transformer (RMT)は、任意の種類の制御条件を受け入れることができるエンコーダとデコーダのセットアップを備えている。
各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験が実施されている。
論文 参考訳（メタデータ） (2023-09-28T08:13:33Z) - Safe Neural Control for Non-Affine Control Systems with Differentiable
Control Barrier Functions [58.19198103790931]
本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。
制御バリア関数(CBF)を用いて,状態制約と制御制約の2次コストの最適化を2次プログラムのシーケンス(QP)にサブ最適化できることが示されている。
我々は,高次CBFをニューラル常微分方程式に基づく学習モデルに差分CBFとして組み込んで,非アフィン制御系の安全性を保証する。
論文 参考訳（メタデータ） (2023-09-06T05:35:48Z) - Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。
まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。
次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
論文 参考訳（メタデータ） (2021-11-18T23:21:00Z) - Controllable Summarization with Constrained Markov Decision Process [50.04321779376415]
本研究では,ユーザが特定の属性を制御できる可制御テキスト要約について検討する。
制約付きマルコフ決定プロセス(CMDP)に基づく新しいトレーニングフレームワークを提案する。
我々のフレームワークは、長さ、被覆された実体、抽象性など、要約の重要な属性を制御するために応用できる。
論文 参考訳（メタデータ） (2021-08-07T09:12:53Z) - Reinforcement Learning for Safety-Critical Control under Model
Uncertainty, using Control Lyapunov Functions and Control Barrier Functions [96.63967125746747]
強化学習フレームワークは、CBFおよびCLF制約に存在するモデル不確実性を学ぶ。
RL-CBF-CLF-QPは、安全制約におけるモデル不確実性の問題に対処する。
論文 参考訳（メタデータ） (2020-04-16T10:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。