論文の概要: Language-Guided Tuning: Enhancing Numeric Optimization with Textual Feedback

• arxiv url: http://arxiv.org/abs/2508.15757v1
• Date: Thu, 21 Aug 2025 17:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.433933
• Title: Language-Guided Tuning: Enhancing Numeric Optimization with Textual Feedback
• Title（参考訳）: 言語ガイドによるチューニング: テキストフィードバックによる数値最適化の強化
• Authors: Yuxing Lu, Yucheng Hu, Nan Sun, Xukai Zhao,
• Abstract要約: 自然言語推論による設定をインテリジェントに最適化するために,多エージェント大規模言語モデルを用いた新しいフレームワークであるLanguage-Guided Tuning (LGT)を紹介した。 トレーニング力学と構成相互依存性のセマンティック理解を提供することにより,数値最適化を補完するテキスト質的なフィードバック信号を適用する。 LGTは従来の最適化手法よりも大幅に改善され、高い解釈可能性を維持しながら性能向上を実現している。
• 参考スコア（独自算出の注目度）: 1.2106694524257837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Configuration optimization remains a critical bottleneck in machine learning, requiring coordinated tuning across model architecture, training strategy, feature engineering, and hyperparameters. Traditional approaches treat these dimensions independently and lack interpretability, while recent automated methods struggle with dynamic adaptability and semantic reasoning about optimization decisions. We introduce Language-Guided Tuning (LGT), a novel framework that employs multi-agent Large Language Models to intelligently optimize configurations through natural language reasoning. We apply textual gradients - qualitative feedback signals that complement numerical optimization by providing semantic understanding of training dynamics and configuration interdependencies. LGT coordinates three specialized agents: an Advisor that proposes configuration changes, an Evaluator that assesses progress, and an Optimizer that refines the decision-making process, creating a self-improving feedback loop. Through comprehensive evaluation on six diverse datasets, LGT demonstrates substantial improvements over traditional optimization methods, achieving performance gains while maintaining high interpretability.
• Abstract（参考訳）: 構成最適化は、モデルアーキテクチャ、トレーニング戦略、機能エンジニアリング、ハイパーパラメータ間で協調的なチューニングを必要とするマシンラーニングにおいて、依然として重要なボトルネックである。 従来の手法はこれらの次元を独立して扱い、解釈可能性に欠けるが、最近の自動化手法は動的適応性と最適化決定に関する意味論的推論に苦慮している。 自然言語推論による設定をインテリジェントに最適化するために,多エージェント大規模言語モデルを用いた新しいフレームワークであるLanguage-Guided Tuning (LGT)を紹介した。 我々は、訓練力学と構成相互依存性のセマンティック理解を提供することにより、数値最適化を補完する定性的なフィードバック信号であるテキスト勾配を適用した。 LGTは3つの専門エージェントをコーディネートする: 構成変更を提案するアドバイザ、進捗を評価する評価器、意思決定プロセスを改善する最適化器、自己改善フィードバックループを作成する。 6つの多様なデータセットの総合的な評価を通じて、LGTは従来の最適化手法よりも大幅に改善され、高い解釈可能性を維持しながら性能向上を実現している。

関連論文リスト

• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Investigation into the Training Dynamics of Learned Optimizers [0.0]
  従来の手作りのアルゴリズムをメタ学習関数に置き換えることで、学習の概念を最適化プロセスを加速させる方法として検討する。 本研究は,ネットワークアーキテクチャの対称性と更新パラメータの観点から最適化について検討する。 私たちは、それぞれのアプローチが互いの強みからどのように恩恵を受けるかを示すいくつかの重要な洞察を特定します。
  論文  参考訳（メタデータ） (2023-12-12T11:18:43Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Transformer-Based Learned Optimization [37.84626515073609]
  ニューラルネットワークを用いて計算の更新ステップを表現できる学習最適化手法を提案する。 私たちの革新は、古典的なBFGSアルゴリズムにインスパイアされた、新しいニューラルネットワークアーキテクチャです。 最適化アルゴリズムの評価に伝統的に用いられてきた目的関数からなるベンチマークにおいて,提案手法の利点を実証する。
  論文  参考訳（メタデータ） (2022-12-02T09:47:08Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。