Fugu-MT 論文翻訳(概要): PID Control-Based Self-Healing to Improve the Robustness of Large Language Models

論文の概要: PID Control-Based Self-Healing to Improve the Robustness of Large Language Models

arxiv url: http://arxiv.org/abs/2404.00828v1
Date: Sun, 31 Mar 2024 23:46:51 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 01:41:21.571970
Title: PID Control-Based Self-Healing to Improve the Robustness of Large Language Models
Title（参考訳）: PID制御による大規模言語モデルのロバスト性向上のための自己修復
Authors: Zhuotong Chen, Zihu Wang, Yifan Yang, Qianxiao Li, Zheng Zhang,
Abstract要約: マイナーな摂動は、よく訓練された言語モデルの性能を大幅に低下させる。我々は、望ましくないモデル行動を修正するために、計算効率の良い自己修復プロセスを構築した。提案したPID制御による自己修復は、事前訓練された大規模言語モデルの堅牢性を改善するための低コストなフレームワークである。
参考スコア（独自算出の注目度）: 23.418411870842178
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite the effectiveness of deep neural networks in numerous natural language processing applications, recent findings have exposed the vulnerability of these language models when minor perturbations are introduced. While appearing semantically indistinguishable to humans, these perturbations can significantly reduce the performance of well-trained language models, raising concerns about the reliability of deploying them in safe-critical situations. In this work, we construct a computationally efficient self-healing process to correct undesired model behavior during online inference when perturbations are applied to input data. This is formulated as a trajectory optimization problem in which the internal states of the neural network layers are automatically corrected using a PID (Proportional-Integral-Derivative) control mechanism. The P controller targets immediate state adjustments, while the I and D controllers consider past states and future dynamical trends, respectively. We leverage the geometrical properties of the training data to design effective linear PID controllers. This approach reduces the computational cost to that of using just the P controller, instead of the full PID control. Further, we introduce an analytical method for approximating the optimal control solutions, enhancing the real-time inference capabilities of this controlled system. Moreover, we conduct a theoretical error analysis of the analytic solution in a simplified setting. The proposed PID control-based self-healing is a low cost framework that improves the robustness of pre-trained large language models, whether standard or robustly trained, against a wide range of perturbations. A detailed implementation can be found in:https://github.com/zhuotongchen/PID-Control-Based-Self-Healing-to-Improve-the-Robustness-of-Large -Language-Models.
Abstract（参考訳）: 多くの自然言語処理アプリケーションにおけるディープニューラルネットワークの有効性にもかかわらず、最近の発見は、小さな摂動が導入されたときにこれらの言語モデルの脆弱性を露呈している。意味的に人間と区別できないように見えるが、これらの摂動は、十分に訓練された言語モデルの性能を大幅に低下させ、安全な状況にデプロイする際の信頼性への懸念を引き起こす。本研究では,入力データに摂動を適用した場合のオンライン推論において,望ましくないモデル動作を補正する,計算効率のよい自己修復プロセスを構築する。これは、ニューラルネットワーク層の内部状態をPID(Proportional-Integral-Derivative)制御機構を用いて自動的に補正する軌道最適化問題として定式化される。 Pコントローラは即時状態調整を目標とし、IコントローラとDコントローラはそれぞれ過去の状態と将来の動的傾向を考慮している。トレーニングデータの幾何学的特性を利用して、効率的な線形PIDコントローラを設計する。このアプローチは、完全なPID制御ではなく、単にPコントローラを使用する場合の計算コストを削減します。さらに、最適制御解を近似する解析手法を導入し、この制御系のリアルタイム推論能力を向上する。さらに,解析解の理論的誤差解析を簡易な設定で行う。提案したPID制御による自己修復は、幅広い摂動に対して、訓練済みの大規模言語モデルの堅牢性を改善するための、低コストなフレームワークである。詳細な実装は、https://github.com/zhuotongchen/PID-Control-Based-Self-Healing-to-Improve-the-Robustness-of-Large-La nguage-Modelsにある。

関連論文リスト

Neural Internal Model Control: Learning a Robust Control Policy via Predictive Error Feedback [16.46487826869775]
本稿では,モデルベース制御とRLベース制御を統合し,ロバスト性を高めるニューラル内部モデル制御を提案する。我々のフレームワークは、剛体力学にニュートン・オイラー方程式を適用することで予測モデルを合理化し、複雑な高次元非線形性を捉える必要がなくなる。本研究では,四足歩行ロボットと四足歩行ロボットにおけるフレームワークの有効性を実証し,最先端の手法と比較して優れた性能を実現する。
論文参考訳（メタデータ） (2024-11-20T07:07:42Z)
Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
論文参考訳（メタデータ） (2024-10-31T20:05:51Z)
Bisimulation metric for Model Predictive Control [44.301098448479195]
Bisimulation Metric for Model Predictive Control (BS-MPC) は、目的関数にbisimulation metric lossを組み込んでエンコーダを直接最適化する新しい手法である。 BS-MPCは、トレーニング時間を削減することにより、トレーニング安定性、入力ノイズに対する堅牢性、および計算効率を向上させる。我々は,DeepMind Control Suiteから連続制御および画像ベースタスクのBS-MPCを評価する。
論文参考訳（メタデータ） (2024-10-06T17:12:10Z)
Self-Tuning PID Control via a Hybrid Actor-Critic-Based Neural Structure for Quadcopter Control [0.0]
Proportional-Integrator-Derivative (PID) コントローラは、幅広い産業および実験プロセスで使用されている。モデルパラメータの不確実性と外乱のため、Quadrotorsのような実際のシステムはより堅牢で信頼性の高いPIDコントローラを必要とする。本研究では,Reinforcement-Learning-based Neural Networkを用いた自己調整型PIDコントローラについて検討した。
論文参考訳（メタデータ） (2023-07-03T19:35:52Z)
Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文参考訳（メタデータ） (2023-06-09T18:40:55Z)
Adaptive Model Predictive Control by Learning Classifiers [26.052368583196426]
制御パラメータとモデルパラメータを自動的に推定する適応型MPC変種を提案する。我々は,BOを密度比推定として定式化できることを示す最近の結果を活用する。その後、これはモデル予測経路積分制御フレームワークに統合され、様々な困難なロボティクスタスクのための堅牢なコントローラを生成する。
論文参考訳（メタデータ） (2022-03-13T23:22:12Z)
Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文参考訳（メタデータ） (2021-08-09T08:45:47Z)
Control of Stochastic Quantum Dynamics with Differentiable Programming [0.0]
微分可能プログラミングに基づく制御スキームの自動設計のためのフレームワークを提案する。このアプローチを、ホモジエン検出を受けるクビットの状態準備と安定化に適用する。その結果、信号と雑音の比が低いにもかかわらず、平均忠実度が約85%の目標状態へのキュービットの準備と安定化をコントローラに教えることができる。
論文参考訳（メタデータ） (2021-01-04T19:00:03Z)
Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文参考訳（メタデータ） (2020-11-14T01:27:32Z)
Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven [80.94390916562179]
時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
論文参考訳（メタデータ） (2020-06-16T05:51:25Z)
How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。