論文の概要: Towards Universal Offline Black-Box Optimization via Learning Language Model Embeddings

• arxiv url: http://arxiv.org/abs/2506.07109v1
• Date: Sun, 08 Jun 2025 12:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.675041
• Title: Towards Universal Offline Black-Box Optimization via Learning Language Model Embeddings
• Title（参考訳）: 学習言語モデル埋め込みによるユニバーサルオフラインブラックボックス最適化に向けて
• Authors: Rong-Xi Tan, Ming Chen, Ke Xue, Yao Wang, Yaoyuan Wang, Sheng Fu, Chao Qian,
• Abstract要約: ユニバーサルブラックボックス最適化(BBO)アルゴリズムの追求は長年の目標である。 既存のオフラインBBOアプローチは、単一タスクと固定次元の設定に制約される。 言語モデル(LM)の最近の進歩は、将来性のある道筋を提供する。
• 参考スコア（独自算出の注目度）: 27.08198641568969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pursuit of universal black-box optimization (BBO) algorithms is a longstanding goal. However, unlike domains such as language or vision, where scaling structured data has driven generalization, progress in offline BBO remains hindered by the lack of unified representations for heterogeneous numerical spaces. Thus, existing offline BBO approaches are constrained to single-task and fixed-dimensional settings, failing to achieve cross-domain universal optimization. Recent advances in language models (LMs) offer a promising path forward: their embeddings capture latent relationships in a unifying way, enabling universal optimization across different data types possible. In this paper, we discuss multiple potential approaches, including an end-to-end learning framework in the form of next-token prediction, as well as prioritizing the learning of latent spaces with strong representational capabilities. To validate the effectiveness of these methods, we collect offline BBO tasks and data from open-source academic works for training. Experiments demonstrate the universality and effectiveness of our proposed methods. Our findings suggest that unifying language model priors and learning string embedding space can overcome traditional barriers in universal BBO, paving the way for general-purpose BBO algorithms. The code is provided at https://github.com/lamda-bbo/universal-offline-bbo.
• Abstract（参考訳）: ユニバーサルブラックボックス最適化(BBO)アルゴリズムの追求は長年の目標である。 しかし、構造化データのスケーリングが一般化を促した言語や視覚のような領域とは異なり、オフラインBBOの進歩は、不均一な数値空間に対する統一表現の欠如によって妨げられている。 したがって、既存のオフラインBBOアプローチは単一タスクと固定次元の設定に制約され、クロスドメインの普遍的な最適化を達成できない。 言語モデル(LM)の最近の進歩は、将来性のある道筋を示している。 本稿では,次世代予測の形でのエンドツーエンド学習フレームワークや,強力な表現能力を持つ潜在空間の学習の優先順位付けなど,複数の潜在的アプローチについて論じる。 これらの手法の有効性を検証するため,オープンソース学術研究からオフラインのBBOタスクとデータを収集した。 提案手法の普遍性と有効性を示す実験を行った。 この結果から,言語モデルの事前化と文字列埋め込み空間の学習が,汎用BBOアルゴリズムへの道を開くことで,従来のBBOの障壁を克服できることが示唆された。 コードはhttps://github.com/lamda-bbo/Universal-offline-bboで提供されている。

関連論文リスト

• HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization [50.27950279695363]
  多くの事前訓練された言語モデル (PLM) は、中級言語と低級言語で最適な性能を示す。 これを解決するための一般的な戦略は、ターゲット言語固有の新しいトークンを導入し、埋め込みを初期化し、ターゲット言語データに連続的な事前トレーニングを適用することである。 より適応的なトークン埋め込みのためのハイパーネットワークベースのアプローチであるHYPEROFAを提案する。
  論文  参考訳（メタデータ） (2025-04-21T19:40:32Z)
• Mind the Gap: A Generalized Approach for Cross-Modal Embedding Alignment [0.0]
  Retrieval-Augmented Generation (RAG) システムは、意味的ギャップによって異なるテキストモダリティ間でコンテキストを検索する。 本稿では,これらのギャップを効率的に埋める汎用投影法を提案する。 私たちのアプローチでは、トレーニングや推論に最小限のリソースを必要とするため、スピード、正確性、データ効率を重視しています。
  論文  参考訳（メタデータ） (2024-10-30T20:28:10Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• An Invitation to Deep Reinforcement Learning [24.807012576054504]
  ターゲット目標を最大化するためにディープニューラルネットワークをトレーニングすることが、マシンラーニングの成功の標準的なレシピになっています。 共通目的として、連合(IoU)、二言語評価(BLEU)スコア、報酬は教師付き学習では最適化できない。 強化学習(Reinforcement Learning, RL)は、未分化の目的を最大化するために、ディープニューラルネットワークを最適化するための有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2023-12-13T18:57:23Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。