論文の概要: Agent-Centric Projection of Prompting Techniques and Implications for Synthetic Training Data for Large Language Models

• arxiv url: http://arxiv.org/abs/2501.07815v1
• Date: Tue, 14 Jan 2025 03:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:46.519111
• Title: Agent-Centric Projection of Prompting Techniques and Implications for Synthetic Training Data for Large Language Models
• Title（参考訳）: プロンプト手法のエージェント中心投影と大規模言語モデルのための合成学習データへの含意
• Authors: Dhruv Dhamani, Mary Lou Maher,
• Abstract要約: 本稿では,Large Language Models(LLMs)における線形コンテキスト(連続的な相互作用の連続配列)と非線形コンテキスト(分岐やマルチパス)の概念を紹介し,解説する。 これらの概念は、プロンプト戦略とマルチエージェントシステムとの深い関係を明らかにするフレームワークであるプロンプトテクニックのエージェント中心のプロジェクションの開発を可能にする。
• 参考スコア（独自算出の注目度）: 0.8879149917735942
• License:
• Abstract: Recent advances in prompting techniques and multi-agent systems for Large Language Models (LLMs) have produced increasingly complex approaches. However, we lack a framework for characterizing and comparing prompting techniques or understanding their relationship to multi-agent LLM systems. This position paper introduces and explains the concepts of linear contexts (a single, continuous sequence of interactions) and non-linear contexts (branching or multi-path) in LLM systems. These concepts enable the development of an agent-centric projection of prompting techniques, a framework that can reveal deep connections between prompting strategies and multi-agent systems. We propose three conjectures based on this framework: (1) results from non-linear prompting techniques can predict outcomes in equivalent multi-agent systems, (2) multi-agent system architectures can be replicated through single-LLM prompting techniques that simulate equivalent interaction patterns, and (3) these equivalences suggest novel approaches for generating synthetic training data. We argue that this perspective enables systematic cross-pollination of research findings between prompting and multi-agent domains, while providing new directions for improving both the design and training of future LLM systems.
• Abstract（参考訳）: 近年,Large Language Models (LLM) のプロンプト技術やマルチエージェントシステムの進歩により,より複雑なアプローチが生み出されている。 しかし,我々は,プロンプト技術の特徴付けと比較,およびマルチエージェントLLMシステムとの関係を理解するための枠組みを欠いている。 本稿では,LLMシステムにおける線形コンテキスト(連続的な相互作用の連続配列)と非線形コンテキスト(分岐やマルチパス)の概念を紹介し,解説する。 これらの概念は、プロンプト戦略とマルチエージェントシステムとの深い関係を明らかにするフレームワークであるプロンプトテクニックのエージェント中心のプロジェクションの開発を可能にする。 本枠組みに基づく3つの予想は,(1) 等価なマルチエージェントシステムにおける結果を予測する非線形プロンプト手法,(2) 等価な相互作用パターンをシミュレートする単一LLMプロンプト手法によるマルチエージェントシステムアーキテクチャの再現,(3) それらの等価性は,合成トレーニングデータを生成するための新しいアプローチを提案する。 この観点は、今後のLCMシステムの設計と訓練の両方を改善するための新たな方向性を提供しながら、プロンプトドメインとマルチエージェントドメインの間の研究成果の体系的相互補間を可能にすると論じる。

関連論文リスト

• Boost, Disentangle, and Customize: A Robust System2-to-System1 Pipeline for Code Generation [58.799397354312596]
  大規模言語モデル(LLM)は、様々な領域、特にシステム1タスクにおいて顕著な機能を示した。 System2-to-System1法に関する最近の研究が急増し、推論時間計算によるシステム2の推論知識が探索された。 本稿では,システム2タスクの代表的タスクであるコード生成に注目し,主な課題を2つ挙げる。
  論文  参考訳（メタデータ） (2025-02-18T03:20:50Z)
• Cooperative Multi-Agent Planning with Adaptive Skill Synthesis [16.228784877899976]
  強化学習を用いたマルチエージェントシステムでは, サンプル効率, 解釈可能性, 伝達性に課題が生じる。 本稿では、視覚言語モデル(VLM)を動的スキルライブラリと統合し、分散化されたクローズドループ決定のための構造化通信を行う新しいマルチエージェントアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-14T13:23:18Z)
• Layered Chain-of-Thought Prompting for Multi-Agent LLM Systems: A Comprehensive Approach to Explainable Large Language Models [0.0]
  提案するLayered Chain-of-Thought (Layered-CoT) Promptingは,推論プロセスを複数の層に体系的に分割する新しいフレームワークである。 医療トリアージ、財務リスク評価、アジャイルエンジニアリングの3つのシナリオを紹介し、透明性、正確性、ユーザエンゲージメントの観点から、Layered-CoTがバニラCoTをどのように上回っているかを示します。
  論文  参考訳（メタデータ） (2025-01-29T13:21:09Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Fast and Slow Generating: An Empirical Study on Large and Small Language Models Collaborative Decoding [27.004817441034795]
  大規模言語モデルと小言語モデル(SLM)の協調的復号化は,これらの問題を緩和するための有望な戦略を示す。 両プロセス認知理論に着想を得て,FS-GEN(Fast and Slow Generating)と呼ばれる統合フレームワークを提案する。 このフレームワーク内では、LSMはSystem 2(slow and intention)に、独立したSLMはSystem 1に分類される。
  論文  参考訳（メタデータ） (2024-06-18T05:59:28Z)
• Thinking Fair and Slow: On the Efficacy of Structured Prompts for Debiasing Language Models [14.405446719317291]
  既存のデバイアス技術はトレーニングベースまたはモデルの内部および出力分布へのアクセスを必要とするのが一般的である。 我々は,システム2の思考プロセスを適用し,論理的,反射的,批判的テキスト生成を誘導する,包括的エンドユーザー中心のデバイアスの反復的枠組みを評価する。
  論文  参考訳（メタデータ） (2024-05-16T20:27:58Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。