論文の概要: SI-Agent: An Agentic Framework for Feedback-Driven Generation and Tuning of Human-Readable System Instructions for Large Language Models

• arxiv url: http://arxiv.org/abs/2507.03223v1
• Date: Thu, 03 Jul 2025 23:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.627592
• Title: SI-Agent: An Agentic Framework for Feedback-Driven Generation and Tuning of Human-Readable System Instructions for Large Language Models
• Title（参考訳）: SI-Agent:大規模言語モデルのためのヒューマン可読システム命令のフィードバック駆動生成とチューニングのためのエージェントフレームワーク
• Authors: Jeshwanth Challagundla,
• Abstract要約: システムインストラクション(SI)は、大規模言語モデル(LLM)の指針となる。 既存の自動化手法は、人間が読めない「ソフトプロンプト」を頻繁に生成し、解釈しやすさを犠牲にする。 本稿では,人間の読みやすいSIを自動生成し,反復的に洗練する新しいエージェントフレームワークであるSI-Agentを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: System Instructions (SIs), or system prompts, are pivotal for guiding Large Language Models (LLMs) but manual crafting is resource-intensive and often suboptimal. Existing automated methods frequently generate non-human-readable "soft prompts," sacrificing interpretability. This paper introduces SI-Agent, a novel agentic framework designed to automatically generate and iteratively refine human-readable SIs through a feedback-driven loop. SI-Agent employs three collaborating agents: an Instructor Agent, an Instruction Follower Agent (target LLM), and a Feedback/Reward Agent evaluating task performance and optionally SI readability. The framework utilizes iterative cycles where feedback guides the Instructor's refinement strategy (e.g., LLM-based editing, evolutionary algorithms). We detail the framework's architecture, agent roles, the iterative refinement process, and contrast it with existing methods. We present experimental results validating SI-Agent's effectiveness, focusing on metrics for task performance, SI readability, and efficiency. Our findings indicate that SI-Agent generates effective, readable SIs, offering a favorable trade-off between performance and interpretability compared to baselines. Potential implications include democratizing LLM customization and enhancing model transparency. Challenges related to computational cost and feedback reliability are acknowledged.
• Abstract（参考訳）: システムインストラクション(SI)またはシステムプロンプト(英語版)は、LLM(Large Language Models)を導く上で重要であるが、手作業はリソース集約であり、しばしばサブ最適である。 既存の自動化手法は、人間が読めない「ソフトプロンプト」を頻繁に生成し、解釈しやすさを犠牲にする。 本稿では,フィードバック駆動型ループを通じて,人間の読みやすいSIを自動生成し,反復的に洗練する新しいエージェントフレームワークであるSI-Agentを紹介する。 SI-Agentは、インストラクタエージェント(Instructor Agent)、インストラクタフォローエージェント(Instruction Follower Agent)(target LLM)、フィードバック/リワードエージェント(Feedback/Reward Agent)の3つの協調エージェントを使用して、タスクパフォーマンスとオプションでSI可読性を評価する。 このフレームワークは、フィードバックがインストラクタの洗練戦略(LLMベースの編集、進化アルゴリズムなど)を導く反復サイクルを利用する。 フレームワークのアーキテクチャ、エージェントの役割、反復的な洗練プロセスについて詳述し、既存のメソッドと対比する。 本稿では,タスク性能,SI可読性,効率の指標に着目し,SI-Agentの有効性を検証する実験結果を提案する。 本研究は,SI-Agentが有効かつ可読なSIを生成することを示し,ベースラインと比較して,性能と解釈可能性のトレードオフが良好であることを示した。 LLMのカスタマイズの民主化や、モデルの透明性の向上など、潜在的な影響がある。 計算コストとフィードバックの信頼性に関する課題が認められている。

関連論文リスト

• An agentic system with reinforcement-learned subsystem improvements for parsing form-like documents [0.0]
  本稿では,Large Language Model (LLM)エージェントと強化学習ドライバエージェントを利用して,一貫性のある自己改善抽出を自動化するエージェントAIシステムを提案する。 我々の研究は、モノリシックなLCMベースの抽出の限界を強調し、タスク固有のプロンプトを備えたモジュール化されたマルチエージェントフレームワークを導入しました。 この自己修正適応システムは、人間の介入なしに正確な情報抽出を自動化することを目的として、多様な文書、ファイル形式、レイアウト、LLMを処理する。
  論文  参考訳（メタデータ） (2025-05-16T09:46:10Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [112.04307762405669]
  G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。 G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-06T10:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。