論文の概要: Linear Feedback Control Systems for Iterative Prompt Optimization in Large Language Models

• arxiv url: http://arxiv.org/abs/2501.11979v1
• Date: Tue, 21 Jan 2025 08:52:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:22.167136
• Title: Linear Feedback Control Systems for Iterative Prompt Optimization in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける反復的プロンプト最適化のための線形フィードバック制御系
• Authors: Rupesh Raj Karn,
• Abstract要約: 大規模言語モデル(LLM)は、与えられたプロンプトに基づいて出力を生成することで、様々なアプリケーションに革命をもたらした。 本稿では,LLMにおける反復的プロンプト最適化プロセスとフィードバック制御システムとの並列性を示す新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.9572675949441439
• License:
• Abstract: Large Language Models (LLMs) have revolutionized various applications by generating outputs based on given prompts. However, achieving the desired output requires iterative prompt refinement. This paper presents a novel approach that draws parallels between the iterative prompt optimization process in LLMs and feedback control systems. We iteratively refine the prompt by treating the deviation between the LLM output and the desired result as an error term until the output criteria are met. This process is akin to a feedback control system, where the LLM, despite being non-linear and non-deterministic, is managed using principles from linear feedback control systems. We explore the application of different types of controllers within this framework, providing a mathematical foundation for integrating linear feedback control mechanisms with LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、与えられたプロンプトに基づいて出力を生成することで、様々なアプリケーションに革命をもたらした。 しかし、所望の出力を達成するには反復的な迅速な改善が必要である。 本稿では,LLMにおける反復的プロンプト最適化プロセスとフィードバック制御システムとの並列性を示す新しい手法を提案する。 LLM出力と所望の結果とのずれを、出力基準が満たされるまでエラー項として処理することにより、プロンプトを反復的に洗練する。 このプロセスはフィードバック制御システムに似ており、LLMは非線形で非決定論的であるにもかかわらず、線形フィードバック制御システムの原則を用いて管理されている。 本稿では,LLMと線形フィードバック制御機構を統合するための数学的基盤を提供する。

関連論文リスト

• An Evaluation-Driven Approach to Designing LLM Agents: Process and Architecture [25.752294816136807]
  大規模言語モデル(LLM)は、未特定目標を自律的に達成できるLLMエージェントの開発を可能にする。 事前定義されたテストケースやコード/モデル再開発パイプラインといった従来のアプローチは、LLMエージェント開発におけるユニークな課題に対処するには不十分です。 本稿では,これらの課題に対処するために,テスト駆動開発に触発された評価駆動設計手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T00:34:30Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Large Language Model-Enhanced Reinforcement Learning for Generic Bus Holding Control Strategies [12.599164162404994]
  本研究では,Large Language Models(LLMs)の文脈内学習と推論機能を活用した自動報酬生成パラダイムを提案する。 提案するLLM拡張RLパラダイムの実現可能性を評価するため,合成単線システムや実世界の多線システムなど,様々なバス保持制御シナリオに適用した。
  論文  参考訳（メタデータ） (2024-10-14T07:10:16Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning [35.446870721902904]
  エージェントとしてデプロイされる大規模言語モデル(LLM)は、必要な手動のエンゲージメントを最小限に抑えながら、複数のステップでユーザ指定タスクを解決する。 コード合成の領域における実行フィードバックを活用するためのモデル学習のためのエンドツーエンド強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:25:17Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Self Optimisation and Automatic Code Generation by Evolutionary Algorithms in PLC based Controlling Processes [0.0]
  複雑なプロセスのシステム論理を自己最適化するために,進化的アルゴリズムに基づく新しいアプローチを提案する。 提案手法は,多目的問題を考慮した産業用液体ステーションプロセスで評価する。
  論文  参考訳（メタデータ） (2023-04-12T06:36:54Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。