論文の概要: TextBFGS: Quasi-Newton Optimization for Discrete Executable Text via Gradient-Operator Retrieval

• arxiv url: http://arxiv.org/abs/2602.00059v1
• Date: Tue, 20 Jan 2026 05:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 02:03:42.290389
• Title: TextBFGS: Quasi-Newton Optimization for Discrete Executable Text via Gradient-Operator Retrieval
• Title（参考訳）: TextBFGS: Gradient-Operator Retrievalによる離散実行可能テキストの準ニュートン最適化
• Authors: Zizheng Zhang, Yuyang Liao, Chen Chen, Jian He, Dun Wu, Qianjin Yu, Yanqin Gao, Jin Yang, Kailai Zhang, Eng Siong Chng, Xionghu Zhong,
• Abstract要約: 離散テキストに対して準ニュートン最適化法を実装するための2次フレームワークであるTextBFGSを紹介する。 TextBFGSは、事前学習された成功した軌道の記憶から勾配演算子を取得することで、逆ヘッセン行列を近似する。 より少ないモデルコールで優れたパスレートを実現し、強力なクロスタスク転送性を示す。
• 参考スコア（独自算出の注目度）: 38.3962427355446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing discrete executable text such as prompts and code has recently been framed as a gradient-based process, effectively translating backpropagation concepts to the semantic space. However, existing methods predominantly operate as first-order optimizers akin to Stochastic Gradient Descent, which are suffering from slow convergence and instability because they neglect the semantic curvature of the optimization landscape. To bridge this gap, we introduce TextBFGS, a second-order framework to implement a Quasi-Newton optimization method for discrete text. Unlike traditional memory-based approaches that retrieve similar textual instances, TextBFGS approximates the inverse Hessian matrix by retrieving Gradient-Operators from the memory of pre-learned successful trajectories. Specifically, given a textual gradient feedback, TextBFGS identifies historical correction patterns from the optimization knowledge base and tries to apply these abstract operators to the current variable. This mechanism enables a One-Pass Update, combining feedback generation and second-order correction into a single inference step. Empirical evaluations on code optimization across diverse domains (e.g., HumanEval, MBPP) demonstrate that TextBFGS significantly outperforms first-order baselines. It achieves superior pass rates with fewer model calls and exhibits strong cross-task transferability, thus establishes a mathematically grounded paradigm for efficient, memory-aware text optimization.
• Abstract（参考訳）: プロンプトやコードなどの独立した実行可能テキストの最適化は、最近勾配に基づくプロセスとしてフレーム化され、バックプロパゲーションの概念を意味空間に効果的に翻訳している。 しかし、既存の手法は主に、最適化ランドスケープのセマンティックな曲率を無視しているため、収束が遅く不安定な確率勾配Descentに似た一階最適化として機能する。 このギャップを埋めるために、離散テキストのための準ニュートン最適化法を実装する第2のフレームワークであるTextBFGSを導入する。 類似したテキストインスタンスを検索する従来のメモリベースのアプローチとは異なり、TextBFGSは、事前学習された成功したトラジェクトリのメモリからグラディエント演算子を取得することで、逆ヘッセン行列を近似する。 具体的には、テキスト勾配フィードバックが与えられたとき、TextBFGSは最適化知識ベースから履歴修正パターンを特定し、これらの抽象演算子を現在の変数に適用しようと試みる。 このメカニズムはワンパス更新を可能にし、フィードバック生成と2階補正を1つの推論ステップに組み合わせる。 さまざまなドメイン(例えば、HumanEval、MBPP)にわたるコードの最適化に関する実証的な評価は、TextBFGSが1次ベースラインを大幅に上回っていることを示している。 より少ないモデル呼び出しで優れたパスレートを実現し、強力なクロスタスク転送性を示し、効率よくメモリ対応のテキスト最適化のための数学的基盤となるパラダイムを確立する。

関連論文リスト

• Training-Free Diffusion Priors for Text-to-Image Generation via Optimization-based Visual Inversion [11.905134977931075]
  最適化ベースのVisual Inversion (OVI) はトレーニングフリーでデータフリーの代替手段である。 OVIは、ランダムな擬似トークンから潜伏した視覚表現を初期化し、コサイン類似性を最大化するために反復的に最適化する。 カンディンスキー2.2で実施された実験では、OVIが従来の手法の代替となることが示されている。
  論文  参考訳（メタデータ） (2025-11-25T20:20:21Z)
• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• Reflection-Enhanced Meta-Optimization Integrating TextGrad-style Prompt Optimization with Memory-Driven Self-Evolution [0.0]
  本稿では,メモリ拡張リフレクションRetrievalRAGモジュールと自己適応型メタコントローラを統合するフレームワークを提案する。 REMOは、計算オーバーヘッドの増加にもかかわらず、より安定で堅牢なチューニングを実現する。
  論文  参考訳（メタデータ） (2025-08-26T07:25:45Z)
• Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
  本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。 総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-08-09T01:56:10Z)
• Faster Margin Maximization Rates for Generic and Adversarially Robust Optimization Methods [20.118513136686452]
  一階最適化法は、未決定の訓練目標を最小化する際に、本質的に他よりも特定の解を優先する傾向がある。 本稿では,ミラー降下法と最急降下法について,最先端の暗黙バイアス率を示す。 私たちの加速速度は、このゲームフレームワークにおけるオンライン学習アルゴリズムの残念な部分を活用することによって導き出されます。
  論文  参考訳（メタデータ） (2023-05-27T18:16:56Z)
• Gradient-Free Textual Inversion [34.474779413929426]
  プロセス推論モデル推論モデルにのみアクセスすることで、テキストインバージョンを最適化できるかどうかを疑問視するのは自然なことです。 反復的進化戦略において,連続的なテキストの反転を最適化するための進化戦略を導入する。 提案手法を応用したテキスト・画像モデルの性能評価実験を行った。
  論文  参考訳（メタデータ） (2023-04-12T12:46:27Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。