論文の概要: A mixed policy to improve performance of language models on math problems

• arxiv url: http://arxiv.org/abs/2307.08767v1
• Date: Mon, 17 Jul 2023 18:27:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 17:38:08.636501
• Title: A mixed policy to improve performance of language models on math problems
• Title（参考訳）: 数学問題に対する言語モデルの性能向上のための混合政策
• Authors: Gang Chen
• Abstract要約: 本稿では,強化学習を用いた数学問題の解法として,複合政策探索手法を提案する。 提案手法をGPT-2モデルを用いてGSM8Kデータセット上でテストし,2%以上の性能向上を示す。
• 参考スコア（独自算出の注目度）: 4.982806898121435
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When to solve math problems, most language models take a sampling strategy to predict next word according conditional probabilities. In the math reasoning step, it may generate wrong answer. Considering math problems are deterministic, we propose a mixed policy exploration approach to solve math problems with reinforcement learning. In peculiar, we propose a two level token exploration policy: the abstract level explores next token with probability and the second level is deterministic. Specifically, the abstract level policy will decide whether the token is operator or operand with probability sampling, while the second level is deterministic to select next token with the highest score in a greedy way. We test our method on GSM8K dataset with GPT-2 model, and demonstrate more than $2\%$ performance gain. Our implementation is available at https://github.com/vividitytech/math_lm_rl.
• Abstract（参考訳）: 数学の問題を解くとき、ほとんどの言語モデルは、条件付き確率に応じて次の単語を予測するためにサンプリング戦略を取る。 数学の推論のステップでは、間違った答えを生み出すかもしれません。 数学の問題が決定論的であることを考えると,強化学習を用いて数学問題を解決するための混合政策探索手法を提案する。 抽象レベルは確率で次のトークンを探索し、第二レベルは決定論的である。 具体的には、抽象レベルポリシーは、トークンが演算子であるか、それとも確率サンプリングでオペランドであるかを判断するが、第2レベルは、最も高いスコアで次のトークンを選択することは決定論的である。 提案手法をGPT-2モデルを用いてGSM8Kデータセット上でテストし,2\%以上の性能向上を示す。 私たちの実装はhttps://github.com/vividitytech/math_lm_rlで利用可能です。

関連論文リスト

• Frontier Language Models are not Robust to Adversarial Arithmetic, or "What do I need to say so you agree 2+2=5? [88.59136033348378]
  言語モデルアライメントのための単純なテストベッドを提供する逆算術の問題を考察する。 この問題は自然言語で表される算術的な問題から成り、質問が完了する前に任意の逆文字列を挿入する。 これらの攻撃に対して、強化学習やエージェント構成ループを通じて、モデルを部分的に強化できることが示される。
  論文  参考訳（メタデータ） (2023-11-08T19:07:10Z)
• Controlling Federated Learning for Covertness [15.878313629774269]
  学習者は、ノイズの多い勾配評価を提供する分散オラクルを何度もクエリすることで、関数の$f$を最小化することを目指している。 同時に、学習者は、学習者のクエリを監視する悪意のある盗聴者から$argmin f$を隠そうとする。 本稿では,学習者が学習と難読化のどちらを動的に選択するかという,textitcovert や textitlearner-private 最適化の問題について考察する。
  論文  参考訳（メタデータ） (2023-08-17T07:16:41Z)
• Horizon-free Reinforcement Learning in Adversarial Linear Mixture MDPs [72.40181882916089]
  我々のアルゴリズムが $tildeObig((d+log (|mathcalS|2 |mathcalA|))sqrtKbig)$ regret with full-information feedback, where $d$ is the dimension of a known feature mapping is linearly parametrizing the unknown transition kernel of the MDP, $K$ is the number of episodes, $|mathcalS|$ and $|mathcalA|$ is the standardities of the state and action space。
  論文  参考訳（メタデータ） (2023-05-15T05:37:32Z)
• Improved Sample Complexity Bounds for Distributionally Robust Reinforcement Learning [3.222802562733787]
  トレーニング環境とテスト環境のパラメータミスマッチに対して頑健な制御ポリシーを学習することの問題点を考察する。 本研究では,4つの異なる発散によって特定される不確実性集合に対して,ロバスト位相値学習(RPVL)アルゴリズムを提案する。 提案アルゴリズムは,既存の結果より一様によいサンプル複雑性を$tildemathcalO(|mathcalSmathcalA| H5)$とする。
  論文  参考訳（メタデータ） (2023-03-05T21:47:08Z)
• Fundamental Bounds on Online Strategic Classification [13.442155854812528]
  戦略設定において,決定論的アルゴリズムが$o(Delta)$の誤りを達成できないことを示す。 また、これを非依存の設定に拡張し、$Delta$乗法後悔のアルゴリズムを得る。 我々は,不愉快な,適応的な両敵に対して,サブ線形後悔境界を実現するランダム化アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-02-23T22:39:43Z)
• On the Sample Complexity of Representation Learning in Multi-task Bandits with Global and Local structure [77.60508571062958]
  マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。 アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。 サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
  論文  参考訳（メタデータ） (2022-11-28T08:40:12Z)
• Risk Preferences of Learning Algorithms [0.0]
  広く使われている学習アルゴリズムである$varepsilon$-Greedyは、突発的なリスク回避を示す。 このバイアスを修正する2つの方法について議論する。
  論文  参考訳（メタデータ） (2022-05-10T01:30:24Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)
• UCB-based Algorithms for Multinomial Logistic Regression Bandits [31.67685495996986]
  我々は、MNL(Multinomial logit)を用いて、K+1geq 2$の可能な結果の確率をモデル化する。 MNL-UCBは, 問題依存定数に小さな依存を伴い, $tildemathcalO(dKsqrtT)$を後悔する, 上位信頼境界(UCB)に基づくアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-21T21:09:55Z)
• Model Selection in Contextual Stochastic Bandit Problems [51.94632035240787]
  基本アルゴリズムを選択できるメタアルゴリズムを開発した。 基本アルゴリズムの1つが$O(sqrtT)$後悔している場合でも、一般的には$Omega(sqrtT)$後悔よりも良いものを得ることはできません。
  論文  参考訳（メタデータ） (2020-03-03T18:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。