論文の概要: TextResNet: Decoupling and Routing Optimization Signals in Compound AI Systems via Deep Residual Tuning
- arxiv url: http://arxiv.org/abs/2602.08306v1
- Date: Mon, 09 Feb 2026 06:29:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.086577
- Title: TextResNet: Decoupling and Routing Optimization Signals in Compound AI Systems via Deep Residual Tuning
- Title(参考訳): TextResNet:Deep Residual Tuningによる複合AIシステムの分離とルーティング最適化信号
- Authors: Suizhi Huang, Mei Li, Han Yu, Xiaoxiao Li,
- Abstract要約: TextResNetは、4つの重要な革新を通じて正確な信号ルーティングを実現するために最適化プロセスを再構築するフレームワークである。
以上の結果から,TextResNetはテキストに比べて優れた性能を発揮するが,複合AIシステムにおいてエージェントタスクに対して顕著な安定性を示すことがわかった。
- 参考スコア(独自算出の注目度): 48.34766553598802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Textual Gradient-style optimizers (TextGrad) enable gradient-like feedback propagation through compound AI systems. However, they do not work well for deep chains. The root cause of this limitation stems from the Semantic Entanglement problem in these extended workflows. In standard textual backpropagation, feedback signals mix local critiques with upstream contexts, leading to Attribution Ambiguity. To address this challenge, we propose TextResNet, a framework that reformulates the optimization process to achieve precise signal routing via four key innovations. Firstly, in the forward pass, it enforces Additive Semantic Deltas to preserve an Identity Highway for gradient flow. Secondly, in the backward pass, it introduces Semantic Gradient Decomposition via a Semantic Projector to disentangle feedback into causally independent subspaces. Thirdly, it implements Causal Routing, which routes projected signals to their specific components. Finally, it performs Density-Aware Optimization Scheduling to leverage the disentangled signals to dynamically allocate resources to key system bottlenecks. Our results show that TextResNet not only achieves superior performance compared to TextGrad, but also exhibits remarkable stability for agentic tasks in compound AI systems where baselines collapse. Code is available at https://github.com/JeanDiable/TextResNet.
- Abstract(参考訳): テキストグラディエントスタイルオプティマイザ(TextGrad)は、複合AIシステムを通じて勾配のようなフィードバック伝達を可能にする。
しかし、それらは深い連鎖に対してうまく機能しない。
この制限の根本原因は、これらの拡張ワークフローにおけるセマンティックエンタングルメント問題に起因している。
標準的なテキストのバックプロパゲーションでは、フィードバック信号は局所的な批判と上流の文脈を混合し、属性の曖昧さにつながる。
この課題に対処するために,4つの重要な革新を通じて正確な信号ルーティングを実現するための最適化プロセスを再構築するフレームワークであるTextResNetを提案する。
第一に、前方通過では、勾配流のためのアイデンティティハイウェイを維持するために追加セマンティックデルタを強制する。
第二に、後続パスでは、セマンティック・プロジェクタを介してセマンティック・グラディエント分解を導入し、フィードバックを因果的に独立な部分空間に分解する。
第3に、投射された信号を特定のコンポーネントにルーティングするCausal Routingを実装している。
最後に、不整合信号を利用して鍵となるシステムのボトルネックにリソースを動的に割り当てる密度対応最適化スケジューリングを実行する。
以上の結果から,TextResNetはTextGradよりも優れた性能を発揮するだけでなく,ベースラインが崩壊する複合AIシステムにおいて,エージェントタスクに対する顕著な安定性を示すことがわかった。
コードはhttps://github.com/JeanDiable/TextResNetで入手できる。
関連論文リスト
- Textual Equilibrium Propagation for Deep Compound AI Systems [63.266386654809544]
大規模言語モデル(LLM)は、複合AIシステムの一部としてますます多くデプロイされている。
テキストフィードバックをグローバルに伝達する最近のアプローチ(例:TextGrad)は、そのようなパイプラインを最適化することを可能にするが、システムの深さが大きくなるにつれて性能が低下する。
特に、長距離エージェントは2つの深度スケーリング障害モードを示す: 1) テキストのフィードバックが指数関数的に深度とともに増加し、不当に長いメッセージをもたらし、評価バイアスを増幅するテキストの勾配を爆発させる; 2) 長いコンテキスト能力に制限のあるモデルが部分的なフィードバックを過度に強調し、長いフィードバックの圧縮が下流メッセージの特異性を徐々に低下させるテキストの勾配を消失させる。
論文 参考訳(メタデータ) (2026-01-28T21:41:11Z) - Unleashing Degradation-Carrying Features in Symmetric U-Net: Simpler and Stronger Baselines for All-in-One Image Restoration [52.82397287366076]
オールインワン画像復元は、統合された枠組み内で様々な劣化(ノイズ、ぼかし、悪天候など)を扱うことを目的としている。
本研究では, 優れた特徴抽出法により, 劣化伝達情報を本質的にエンコードする, 重要な知見を明らかにする。
我々の対称設計は固有の劣化信号を頑健に保存し、スキップ接続に単純な加法融合を施す。
論文 参考訳(メタデータ) (2025-12-11T12:20:31Z) - Towards Continual Expansion of Data Coverage: Automatic Text-guided Edge-case Synthesis [1.0152838128195467]
テキスト誘導エッジケース合成のための自動パイプラインを提案する。
提案手法では、画像キャプションの言い換えに、好みの学習によって微調整されたLarge Language Modelを用いる。
この作業は、データキュレーションを手作業から自動化されたターゲット合成に移行する、スケーラブルなフレームワークを確立する。
論文 参考訳(メタデータ) (2025-09-30T12:11:25Z) - Text2Grad: Reinforcement Learning from Natural Language Feedback [32.59003667154527]
我々は、自由形式のテキストフィードバックをスパンレベルの勾配に変換する、きめ細かい強化パラダイムであるText2Gradを紹介する。
以上の結果から, 自然言語フィードバックが勾配に変換された場合, より詳細な政策最適化のための強力な信号であることが示唆された。
論文 参考訳(メタデータ) (2025-05-28T13:23:49Z) - TextGrad: Automatic "Differentiation" via Text [32.94896315864364]
TextGradはテキストフィードバックをバックプロパゲートして、複合AIシステムの個々のコンポーネントを改善する。
さまざまなタスクに対してアウト・オブ・ボックスで動作し、ユーザはフレームワークのコンポーネントやプロンプトをチューニングすることなく、客観的な機能のみを提供する。
質問応答や分子最適化から放射線治療計画まで,様々な応用において,TextGradの有効性と汎用性を示す。
論文 参考訳(メタデータ) (2024-06-11T17:32:21Z) - Adaptive Recursive Circle Framework for Fine-grained Action Recognition [95.51097674917851]
ビデオにおける微粒な空間時間ダイナミクスのモデル化は、アクション認識にとって難しい問題である。
既存のほとんどのメソッドは、純粋なフィードフォワード方式でレイヤの特徴を生成する。
本稿では,純粋なフィードフォワード層のための微細なデコレータであるAdaptive Recursive Circleフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-25T14:24:29Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。