論文の概要: SI-Agent: An Agentic Framework for Feedback-Driven Generation and Tuning of Human-Readable System Instructions for Large Language Models
- arxiv url: http://arxiv.org/abs/2507.03223v1
- Date: Thu, 03 Jul 2025 23:44:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.627592
- Title: SI-Agent: An Agentic Framework for Feedback-Driven Generation and Tuning of Human-Readable System Instructions for Large Language Models
- Title（参考訳）: SI-Agent:大規模言語モデルのためのヒューマン可読システム命令のフィードバック駆動生成とチューニングのためのエージェントフレームワーク
- Authors: Jeshwanth Challagundla,
- Abstract要約: システムインストラクション(SI)は、大規模言語モデル(LLM)の指針となる。
既存の自動化手法は、人間が読めない「ソフトプロンプト」を頻繁に生成し、解釈しやすさを犠牲にする。
本稿では,人間の読みやすいSIを自動生成し,反復的に洗練する新しいエージェントフレームワークであるSI-Agentを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: System Instructions (SIs), or system prompts, are pivotal for guiding Large Language Models (LLMs) but manual crafting is resource-intensive and often suboptimal. Existing automated methods frequently generate non-human-readable "soft prompts," sacrificing interpretability. This paper introduces SI-Agent, a novel agentic framework designed to automatically generate and iteratively refine human-readable SIs through a feedback-driven loop. SI-Agent employs three collaborating agents: an Instructor Agent, an Instruction Follower Agent (target LLM), and a Feedback/Reward Agent evaluating task performance and optionally SI readability. The framework utilizes iterative cycles where feedback guides the Instructor's refinement strategy (e.g., LLM-based editing, evolutionary algorithms). We detail the framework's architecture, agent roles, the iterative refinement process, and contrast it with existing methods. We present experimental results validating SI-Agent's effectiveness, focusing on metrics for task performance, SI readability, and efficiency. Our findings indicate that SI-Agent generates effective, readable SIs, offering a favorable trade-off between performance and interpretability compared to baselines. Potential implications include democratizing LLM customization and enhancing model transparency. Challenges related to computational cost and feedback reliability are acknowledged.
- Abstract（参考訳）: システムインストラクション(SI)またはシステムプロンプト(英語版)は、LLM(Large Language Models)を導く上で重要であるが、手作業はリソース集約であり、しばしばサブ最適である。
既存の自動化手法は、人間が読めない「ソフトプロンプト」を頻繁に生成し、解釈しやすさを犠牲にする。
本稿では,フィードバック駆動型ループを通じて,人間の読みやすいSIを自動生成し,反復的に洗練する新しいエージェントフレームワークであるSI-Agentを紹介する。
SI-Agentは、インストラクタエージェント(Instructor Agent)、インストラクタフォローエージェント(Instruction Follower Agent)(target LLM)、フィードバック/リワードエージェント(Feedback/Reward Agent)の3つの協調エージェントを使用して、タスクパフォーマンスとオプションでSI可読性を評価する。
このフレームワークは、フィードバックがインストラクタの洗練戦略(LLMベースの編集、進化アルゴリズムなど)を導く反復サイクルを利用する。
フレームワークのアーキテクチャ、エージェントの役割、反復的な洗練プロセスについて詳述し、既存のメソッドと対比する。
本稿では,タスク性能,SI可読性,効率の指標に着目し,SI-Agentの有効性を検証する実験結果を提案する。
本研究は,SI-Agentが有効かつ可読なSIを生成することを示し,ベースラインと比較して,性能と解釈可能性のトレードオフが良好であることを示した。
LLMのカスタマイズの民主化や、モデルの透明性の向上など、潜在的な影響がある。
計算コストとフィードバックの信頼性に関する課題が認められている。
関連論文リスト
- Agent0: Leveraging LLM Agents to Discover Multi-value Features from Text for Enhanced Recommendations [0.0]
大規模言語モデル(LLM)とその関連するエージェントベースのフレームワークは、かなり高度な自動情報抽出を持っている。
本稿では,未構造化テキストから情報抽出と特徴構築を自動化するエージェントベースシステムであるAgent0を提案する。
論文 参考訳（メタデータ） (2025-07-25T06:45:10Z) - An agentic system with reinforcement-learned subsystem improvements for parsing form-like documents [0.0]
本稿では,Large Language Model (LLM)エージェントと強化学習ドライバエージェントを利用して,一貫性のある自己改善抽出を自動化するエージェントAIシステムを提案する。
我々の研究は、モノリシックなLCMベースの抽出の限界を強調し、タスク固有のプロンプトを備えたモジュール化されたマルチエージェントフレームワークを導入しました。
この自己修正適応システムは、人間の介入なしに正確な情報抽出を自動化することを目的として、多様な文書、ファイル形式、レイアウト、LLMを処理する。
論文 参考訳（メタデータ） (2025-05-16T09:46:10Z) - A Self-Improving Coding Agent [23.44829720834145]
LLM(Large Language Models)は、LLMエージェントを世界に向けて展開することへの関心を喚起している。
本稿では,基本的なコーディングツールを備えたエージェントシステムが,自らを自律的に編集し,ベンチマークタスクの性能を向上させることを実証する。
論文 参考訳（メタデータ） (2025-04-21T16:58:18Z) - Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。
しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。
この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-18T15:07:06Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - QLASS: Boosting Language Agent Inference via Q-Guided Stepwise Search [89.97082652805904]
提案するQLASS(Q-guided Language Agent Stepwise Search)は,Q-valueを推定してアノテーションを自動的に生成する。
ステップワイズガイダンスにより、言語エージェントが長期的価値に適応できるようにQ誘導型生成戦略を提案する。
我々はQLASSが質的分析によってより効果的な意思決定につながることを実証的に実証した。
論文 参考訳（メタデータ） (2025-02-04T18:58:31Z) - Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。
これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。
55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
論文 参考訳（メタデータ） (2024-10-14T17:57:02Z) - Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [112.04307762405669]
G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。
G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
論文 参考訳（メタデータ） (2024-10-06T10:49:40Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。