論文の概要: CBF-LLM: Safe Control for LLM Alignment
- arxiv url: http://arxiv.org/abs/2408.15625v2
- Date: Mon, 7 Oct 2024 09:49:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 04:30:58.631112
- Title: CBF-LLM: Safe Control for LLM Alignment
- Title（参考訳）: CBF-LLM:LLMアライメントの安全制御
- Authors: Yuya Miyaoka, Masaki Inoue,
- Abstract要約: 本稿では,制御障壁関数(CBF)を利用した大規模言語モデル(LLM)の整合化のための制御ベースフレームワークを提案する。
提案フレームワークは、CBFに基づいて設計された安全フィルタを、生成されたテキストに介入することを目的としたベースラインLLMの出力生成に適用する。
この実験は、ユーザ特定アライメントタスクに必要な介入回数を減らすための制御能力と有効性を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper proposes a control-based framework for aligning large language models (LLMs) by leveraging a control barrier function (CBF) to ensure user-desirable text generation. The presented framework applies the safety filter, designed based on the CBF, to the output generation of the baseline LLM, i.e., the sequence of the token, with the aim of intervening in the generated text. The overall text-generation system is implemented with Llama 3 and a RoBERTa model, and the source code is available at https://github.com/Mya-Mya/CBF-LLM. The experiment demonstrates its control ability and effectiveness in reducing the number of interventions needed for user-specified alignment tasks.
- Abstract（参考訳）: 本稿では,制御バリア関数(CBF)を活用してユーザ希望のテキスト生成を実現することで,大規模言語モデル(LLM)の整合性を確保するための制御ベースフレームワークを提案する。
提案したフレームワークは、CBFに基づいて設計された安全フィルタをベースラインLCMの出力生成、すなわちトークンのシーケンスに適用し、生成されたテキストに介入する。
テキスト生成システムはLlama 3とRoBERTaモデルで実装されており、ソースコードはhttps://github.com/Mya-Mya/CBF-LLMで公開されている。
この実験は、ユーザ特定アライメントタスクに必要な介入回数を減らすための制御能力と有効性を示す。
関連論文リスト
- Controlled LLM Decoding via Discrete Auto-regressive Biasing [9.843359827321194]
制御されたテキスト生成は、大きな言語モデルの出力に対してユーザ定義の制約を強制することができる。
離散テキスト領域で完全に動作しながら勾配を利用する制御復号アルゴリズムである離散自己回帰バイアス法を提案する。
提案手法は,計算コストの低減を図るとともに,制約満足度を著しく向上させる。
論文 参考訳（メタデータ） (2025-02-06T00:14:43Z) - Length Controlled Generation for Black-box LLMs [70.57649832433451]
大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。
本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。
このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
論文 参考訳（メタデータ） (2024-12-19T09:07:38Z) - Learning for Layered Safety-Critical Control with Predictive Control Barrier Functions [26.692688699287213]
制御障壁関数(CBF)を利用する安全フィルタは、複雑なシステム上での安全な動作を強制するのに非常に効果的である。
RoMとFoMのギャップは、安全違反を引き起こす可能性がある。
本稿では,FoMのロールアウトを活用して予測ロバスト性項を定義することで,このギャップに対処する固有CBFを提案する。
論文 参考訳（メタデータ） (2024-12-05T23:05:25Z) - Pareto Control Barrier Function for Inner Safe Set Maximization Under Input Constraints [50.920465513162334]
入力制約下での動的システムの内部安全集合を最大化するPCBFアルゴリズムを提案する。
逆振り子に対するハミルトン・ヤコビの到達性との比較と,12次元四元数系のシミュレーションにより,その有効性を検証する。
その結果,PCBFは既存の手法を一貫して上回り,入力制約下での安全性を確保した。
論文 参考訳（メタデータ） (2024-10-05T18:45:19Z) - Controllable Text Generation with Residual Memory Transformer [4.9329649616940205]
任意の時間ステップでCLMを生成するための,非侵襲的で軽量な制御プラグインを提案する。
提案されているプラグイン、すなわちResidual Memory Transformer (RMT)は、任意の種類の制御条件を受け入れることができるエンコーダとデコーダのセットアップを備えている。
各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験が実施されている。
論文 参考訳（メタデータ） (2023-09-28T08:13:33Z) - Safe Neural Control for Non-Affine Control Systems with Differentiable
Control Barrier Functions [58.19198103790931]
本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。
制御バリア関数(CBF)を用いて,状態制約と制御制約の2次コストの最適化を2次プログラムのシーケンス(QP)にサブ最適化できることが示されている。
我々は,高次CBFをニューラル常微分方程式に基づく学習モデルに差分CBFとして組み込んで,非アフィン制御系の安全性を保証する。
論文 参考訳（メタデータ） (2023-09-06T05:35:48Z) - Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。
まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。
次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
論文 参考訳（メタデータ） (2021-11-18T23:21:00Z) - Controllable Summarization with Constrained Markov Decision Process [50.04321779376415]
本研究では,ユーザが特定の属性を制御できる可制御テキスト要約について検討する。
制約付きマルコフ決定プロセス(CMDP)に基づく新しいトレーニングフレームワークを提案する。
我々のフレームワークは、長さ、被覆された実体、抽象性など、要約の重要な属性を制御するために応用できる。
論文 参考訳（メタデータ） (2021-08-07T09:12:53Z) - Reinforcement Learning for Safety-Critical Control under Model
Uncertainty, using Control Lyapunov Functions and Control Barrier Functions [96.63967125746747]
強化学習フレームワークは、CBFおよびCLF制約に存在するモデル不確実性を学ぶ。
RL-CBF-CLF-QPは、安全制約におけるモデル不確実性の問題に対処する。
論文 参考訳（メタデータ） (2020-04-16T10:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。