論文の概要: Textual Equilibrium Propagation for Deep Compound AI Systems

• arxiv url: http://arxiv.org/abs/2601.21064v1
• Date: Wed, 28 Jan 2026 21:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.446587
• Title: Textual Equilibrium Propagation for Deep Compound AI Systems
• Title（参考訳）: 深層複合AIシステムのためのテクスチュアル平衡伝播
• Authors: Minghui Chen, Wenlong Deng, James Zou, Han Yu, Xiaoxiao Li,
• Abstract要約: 大規模言語モデル(LLM)は、複合AIシステムの一部としてますます多くデプロイされている。 テキストフィードバックをグローバルに伝達する最近のアプローチ(例:TextGrad)は、そのようなパイプラインを最適化することを可能にするが、システムの深さが大きくなるにつれて性能が低下する。 特に、長距離エージェントは2つの深度スケーリング障害モードを示す: 1) テキストのフィードバックが指数関数的に深度とともに増加し、不当に長いメッセージをもたらし、評価バイアスを増幅するテキストの勾配を爆発させる; 2) 長いコンテキスト能力に制限のあるモデルが部分的なフィードバックを過度に強調し、長いフィードバックの圧縮が下流メッセージの特異性を徐々に低下させるテキストの勾配を消失させる。
• 参考スコア（独自算出の注目度）: 63.266386654809544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly deployed as part of compound AI systems that coordinate multiple modules (e.g., retrievers, tools, verifiers) over long-horizon workflows. Recent approaches that propagate textual feedback globally (e.g., TextGrad) make it feasible to optimize such pipelines, but we find that performance degrades as system depth grows. In particular, long-horizon agentic workflows exhibit two depth-scaling failure modes: 1) exploding textual gradient, where textual feedback grows exponentially with depth, leading to prohibitively long message and amplifies evaluation biases; and 2) vanishing textual gradient, where limited long-context ability causes models overemphasize partial feedback and compression of lengthy feedback causes downstream messages to lose specificity gradually as they propagate many hops upstream. To mitigate these issues, we introduce Textual Equilibrium Propagation (TEP), a local learning principle inspired by Equilibrium Propagation in energy-based models. TEP includes two phases: 1) a free phase where a local LLM critics iteratively refine prompts until reaching equilibrium (no further improvements are suggested); and 2) a nudged phase which applies proximal prompt edits with bounded modification intensity, using task-level objectives that propagate via forward signaling rather than backward feedback chains. This design supports local prompt optimization followed by controlled adaptation toward global goals without the computational burden and signal degradation of global textual backpropagation. Across long-horizon QA benchmarks and multi-agent tool-use dataset, TEP consistently improves accuracy and efficiency over global propagation methods such as TextGrad. The gains grows with depth, while preserving the practicality of black-box LLM components in deep compound AI system.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複数のモジュール(例えば、レトリバー、ツール、検証器)をロングホライゾンワークフロー上で協調する複合AIシステムの一部として、ますます多くデプロイされている。 テキストフィードバックをグローバルに伝達する最近のアプローチ(例:TextGrad)は、そのようなパイプラインを最適化することを可能にするが、システム深度が大きくなるにつれて性能が低下する。 特に、長距離エージェントワークフローは、ディープスケーリング障害モードを2つ示す。 1) テキストの傾きが爆発的に増加し、テキストのフィードバックは深さとともに指数関数的に増加し、不当に長いメッセージとなり、評価バイアスを増幅する。 2) 限られた長文能力によって部分的フィードバックが強調され, 長文フィードバックが圧縮された場合, 下流メッセージは, 多くのホップが上流に伝播するにつれて, 特異性が徐々に低下する。 これらの問題を緩和するために、エネルギーモデルにおける平衡伝播にインスパイアされた局所学習原理であるテクスチュアル平衡伝播(TEP)を導入する。 TEPには2つのフェーズがある。 1) 局所的なLLMが均衡に達するまで反復的に精錬する自由段階(更なる改善は示唆されない)で、 2)前向きのフィードバック連鎖ではなく,前向きのシグナル伝達によって伝播するタスクレベル目標を用いて,前向きのプロンプトを有界な修正強度で編集する。 この設計は,グローバルなテキストバックプロパゲーションの計算負担や信号劣化を伴わずに,グローバルな目標への適応を制御した局所的なプロンプト最適化をサポートする。 長期のQAベンチマークとマルチエージェントツール使用データセットを通じて、TEPはTextGradのようなグローバルな伝搬方法よりも精度と効率を一貫して改善する。 深層複合AIシステムにおけるブラックボックスLCMコンポーネントの実用性を保ちながら、ゲインは深さとともに成長する。

関連論文リスト

• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• LUMA: Low-Dimension Unified Motion Alignment with Dual-Path Anchoring for Text-to-Motion Diffusion Model [18.564067196226436]
  本稿では,2経路アンカーを組み込んだテキスト・ツー・モーション拡散モデルを提案し,セマンティックアライメントを強化する。 FIDスコアはそれぞれ0.035と0.123である。
  論文  参考訳（メタデータ） (2025-09-29T17:58:28Z)
• TopoSizing: An LLM-aided Framework of Topology-based Understanding and Sizing for AMS Circuits [7.615431299673158]
  従来のブラックボックス最適化はサンプリング効率を実現するが、回路理解に欠ける。 提案するTopoSizeは、生のネットリストから直接、堅牢な回路理解を行うエンドツーエンドフレームワークである。
  論文  参考訳（メタデータ） (2025-09-17T16:52:46Z)
• Rethinking Prompt Optimization: Reinforcement, Diversification, and Migration in Blackbox LLMs [10.434732630519377]
  本稿では,フィードバック機構の強化を主眼とした新しい自動プロンプト最適化(APO)フレームワークを提案する。 LLM生成したフィードバックに固有のノイズを軽減するため,フィードバックの多様化という手法を導入する。 我々のアプローチは、強いベースラインを一貫して上回り、大幅な精度の向上、より高速な収束、計算コストの低減を実現している。
  論文  参考訳（メタデータ） (2025-07-14T00:20:14Z)
• Exploiting Edited Large Language Models as General Scientific Optimizers [10.489095729605152]
  大規模言語モデル(LLM)は、科学的シナリオにおける数学的最適化において広く採用されている。 概念的に単純で汎用的な二段階最適化手法,すなわち textbf General textbfScientific textbfOptimizers (GSO) を提案する。
  論文  参考訳（メタデータ） (2025-03-08T18:01:11Z)
• Learning Inverse Laplacian Pyramid for Progressive Depth Completion [18.977393635158048]
  LP-Netは、ラプラシアンピラミッド分解に基づくマルチスケールでプログレッシブな予測パラダイムを実装する革新的なフレームワークである。 提出時点では、LP-Netは公式のKITTIリーダーボードで全ての査読された方法の中で第1位である。
  論文  参考訳（メタデータ） (2025-02-11T06:21:42Z)
• Low-Light Image Enhancement via Generative Perceptual Priors [75.01646333310073]
  視覚言語モデル(VLM)を用いた新しいtextbfLLIE フレームワークを提案する。 まず、LL画像の複数の視覚特性を評価するためにVLMを誘導するパイプラインを提案し、その評価を定量化し、グローバルおよびローカルな知覚的先行情報を出力する。 LLIEを有効活用するために,これらの生成的知覚前駆体を組み込むため,拡散過程にトランスフォーマーベースのバックボーンを導入し,グローバルおよびローカルな知覚前駆体によってガイドされる新しい層正規化(textittextbfLPP-Attn)を開発する。
  論文  参考訳（メタデータ） (2024-12-30T12:51:52Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。