論文の概要: Meta-Learning Objectives for Preference Optimization

• arxiv url: http://arxiv.org/abs/2411.06568v2
• Date: Tue, 04 Feb 2025 22:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:03.813084
• Title: Meta-Learning Objectives for Preference Optimization
• Title（参考訳）: 選好最適化のためのメタラーニング目的
• Authors: Carlo Alfano, Silvia Sapora, Jakob Nicolaus Foerster, Patrick Rebeschini, Yee Whye Teh,
• Abstract要約: より単純なベンチマークにおいて、選好最適化アルゴリズムの有効性についての洞察を得ることが可能であることを示す。 我々はミラー優先最適化(MPO)と呼ばれるミラー降下に基づく新しいPOアルゴリズム群を提案する。
• 参考スコア（独自算出の注目度）: 39.15940594751445
• License:
• Abstract: Evaluating preference optimization (PO) algorithms on LLM alignment is a challenging task that presents prohibitive costs, noise, and several variables like model size and hyper-parameters. In this work, we show that it is possible to gain insights on the efficacy of PO algorithm on much simpler benchmarks. We design a diagnostic suite of MuJoCo tasks and datasets, which we use to systematically evaluate PO algorithms, establishing a more controlled and cheaper benchmark. We then propose a novel family of PO algorithms based on mirror descent, which we call Mirror Preference Optimization (MPO). Through evolutionary strategies, we search this class to discover algorithms specialized to specific properties of preference datasets, such as mixed-quality or noisy data. We demonstrate that our discovered PO algorithms outperform all known algorithms in the targeted MuJoCo settings. Finally, based on the insights gained from our MuJoCo experiments, we design a novel PO algorithm that significantly outperforms existing baselines in an LLM alignment task.
• Abstract（参考訳）: LLMアライメントにおける選好最適化(PO)アルゴリズムの評価は、モデルサイズやハイパーパラメータといったいくつかの変数の禁止コスト、ノイズを提示する難題である。 そこで本研究では,より単純なベンチマークでPOアルゴリズムの有効性の洞察を得ることが可能であることを示す。 我々はMuJoCoタスクとデータセットの診断スイートを設計し、POアルゴリズムを体系的に評価し、より制御され、より安価なベンチマークを確立するために使用します。 次に、ミラー優先最適化(MPO)と呼ばれるミラー降下に基づく新しいPOアルゴリズム群を提案する。 進化的戦略を通じて、我々はこのクラスを探索し、混合品質やノイズの多いデータなど、嗜好データセットの特定の特性に特化したアルゴリズムを発見する。 検出したPOアルゴリズムは、ターゲットの MuJoCo 設定において、既知の全てのアルゴリズムより優れていることを示す。 最後に、MuJoCo実験から得られた知見に基づいて、LLMアライメントタスクにおいて既存のベースラインを大幅に上回る新しいPOアルゴリズムを設計する。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Large Language Models As Evolution Strategies [6.873777465945062]
  本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。 我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。 我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
  論文  参考訳（メタデータ） (2024-02-28T15:02:17Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Optimistic Optimisation of Composite Objective with Exponentiated Update [2.1700203922407493]
  このアルゴリズムは指数勾配と$p$-normアルゴリズムの組み合わせと解釈できる。 彼らはシーケンス依存の後悔の上界を達成し、スパース目標決定変数の最もよく知られた境界と一致する。
  論文  参考訳（メタデータ） (2022-08-08T11:29:55Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Mixed Strategies for Robust Optimization of Unknown Objectives [93.8672371143881]
  そこでは,不確実なパラメータの最悪の実現に対して,未知の目的関数を最適化することを目的として,ロバストな最適化問題を考察する。 我々は,未知の目的をノイズ点評価から逐次学習する,新しいサンプル効率アルゴリズムGP-MROを設計する。 GP-MROは、最悪のケースで期待される目標値を最大化する、堅牢でランダムな混合戦略の発見を目指している。
  論文  参考訳（メタデータ） (2020-02-28T09:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。