論文の概要: Learning Autonomous Code Integration for Math Language Models

• arxiv url: http://arxiv.org/abs/2502.00691v1
• Date: Sun, 02 Feb 2025 06:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:21:54.089097
• Title: Learning Autonomous Code Integration for Math Language Models
• Title（参考訳）: 数学言語モデルのための自律的コード統合学習
• Authors: Haozhe Wang, Long Li, Chao Qu, Fengming Zhu, Weidi Xu, Wei Chu, Fangzhen Lin,
• Abstract要約: 現在のツール統合数学 LLM は、CoT とコードを使用するかどうかを決定するために外部から指示された命令に依存している。 本稿では,その能力の探索を通じてモデルの意思決定を洗練させる,革新的期待最大化(EM)の定式化を提案する。 このフレームワークは、(a)自己探索を通じてモデルの能力に対する信念を改善する参照戦略を計算し、(b)洗練された信念に基づいてモデルを更新する。
• 参考スコア（独自算出の注目度）: 30.057052324461534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research on tool integration for math Large Language Models (LLMs) aims to combine complementary strengths of chain-of-thought (CoT) reasoning and code execution. However, we discover a critical limitation: current tool-integrated math LLMs rely on externally dictated instructions to decide whether to use CoT or code, lacking the autonomy to choose the most appropriate method independently. This prompts us to study \emph{Autonomous Code integration} for math LLMs, which enables models to \emph{independently} develop their own methodology-selection strategy in the absence of reliable supervision. To address this challenge, we propose an innovative Expectation-Maximization (EM) formulation that refines the model's decision-making through the exploration of its capabilities. This framework alternates between (a) computing a reference strategy that improves the model's belief over its capabilities through self-exploration, and (b) updating the model based on the refined belief. We further enhance this framework with an efficient implementation, incorporating a novel data synthesis strategy and off-policy reinforcement learning. Extensive experiments demonstrate that our approach, using only a public query set, significantly boosts the performance of existing math LLMs, raising accuracy by nearly 20\% to 65.28\% on the challenging MATH benchmark, while reducing code executions by up to 65\% .
• Abstract（参考訳）: 大規模言語モデル(LLM)のツール統合に関する最近の研究は、チェーン・オブ・ソート(CoT)推論とコード実行の相補的な強みを組み合わせることを目的としている。 現在のツール統合数学 LLM は、CoT やコードを使用するかどうかを決定するための外部命令に依存しており、最も適切なメソッドを独立して選択する自律性は欠如している。 これにより、信頼された監督がなければ、モデルが独自の方法論選択戦略を開発できる数学 LLM のための \emph{Autonomous Code Integration} の研究が促される。 この課題に対処するために、我々は、その能力の探索を通じてモデルの意思決定を洗練させる革新的な期待-最大化(EM)の定式化を提案する。 このフレームワークは相互に交換する (a)自己探索を通してその能力に対するモデルの信念を改善する参照戦略を計算し、 b) 洗練された信念に基づいてモデルを更新すること。 我々は、新しいデータ合成戦略と非政治強化学習を取り入れた効率的な実装により、この枠組みをさらに強化する。 大規模な実験により、我々のアプローチは、公開クエリセットのみを使用して、既存の数学 LLM の性能を大幅に向上し、挑戦的な MATH ベンチマークで精度を 20 % から 65.28 % に向上し、コード実行を 65 % まで削減した。

関連論文リスト

• ReTool: Reinforcement Learning for Strategic Tool Use in LLMs [27.07998056454784]
  ReToolは、ツール統合学習によるロングフォーム推論を強化する。 モデルは400のトレーニングステップで67%の精度を達成する。 注目すべきは、ReTool-32Bが72.5%の精度で設定できることだ。
  論文  参考訳（メタデータ） (2025-04-15T18:10:22Z)
• Generalising from Self-Produced Data: Model Training Beyond Human Constraints [0.0]
  本稿では,AIモデルが新たな知識を自律的に生成し,検証する新しい枠組みを提案する。 このアプローチの中心は、人間のベンチマークを必要とせずに学習をガイドする、無制限で使い捨ての数値報酬である。
  論文  参考訳（メタデータ） (2025-04-07T03:48:02Z)
• Reinforcement Learning Environment with LLM-Controlled Adversary in D&D 5th Edition Combat [0.0]
  この研究では、より小さなエージェントにDeep Q-Networks(DQN)を採用し、戦略的AI開発のためのテストベッドを作成している。 高度な言語モデルをRLフレームワークに統合し、戦略的意思決定プロセスの強化に成功しました。
  論文  参考訳（メタデータ） (2025-03-19T22:48:20Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [86.21199607040147]
  自己改善認知(Self-Improving cognition、SIcog)は、次世代基礎言語モデルを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解手法であるChain-of-Descriptionを導入し、構造化連鎖推論(CoT)を統合し、深いマルチモーダル推論をサポートする。 広範囲にわたる実験により、SIcogはマルチモーダル認知を著しく改善した次世代基盤MLLMを生産することが示された。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Vintix: Action Model via In-Context Reinforcement Learning [72.65703565352769]
  In-context reinforcement learning を通じて振る舞いを学習できる固定されたクロスドメインモデルを導入することで ICRL のスケールアップに向けた第一歩を提示する。 ICRLを促進するために設計されたフレームワークであるアルゴリズム蒸留は、多目的な作用モデルを構築するために、専門家蒸留に代わる魅力的な、競争力のある代替手段を提供することを示した。
  論文  参考訳（メタデータ） (2025-01-31T18:57:08Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Benchmarking Large Language Models for Math Reasoning Tasks [12.91916443702145]
  我々は、4つの強力な基礎モデル上の5つの広く使われている数学的データセットの数学的問題解決のための、最先端の文脈内学習アルゴリズムを7つ比較した。 以上の結果から, GPT-4o や LLaMA 3-70B のような大規模基盤モデルでは, 具体的なプロンプト戦略とは独立に数学的推論を解くことが可能であることが示唆された。 将来の研究で追加モデルの統合をサポートするために、ベンチマークコードをオープンソースにしています。
  論文  参考訳（メタデータ） (2024-08-20T13:34:17Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Efficient Reinforcement Learning via Decoupling Exploration and Utilization [6.305976803910899]
  強化学習(Reinforcement Learning, RL)は、ゲーム、ロボティクス、自動運転車など、さまざまな分野やアプリケーションで大きな成功を収めている。 本研究の目的は,探索と利用を分離して効率よく学習するエージェントを訓練することであり,エージェントが最適解の難解を逃れられるようにすることである。 提案したOPARL(Optimistic and Pessimistic Actor Reinforcement Learning)アルゴリズムに実装した。
  論文  参考訳（メタデータ） (2023-12-26T09:03:23Z)
• Learning Environment Models with Continuous Stochastic Dynamics [0.0]
  本研究では,エージェントの制御下での環境行動のオートマトンモデルを学ぶことによって,エージェントが直面する決定に対する洞察を提供することを目的とする。 本研究では,複雑で連続的な力学を持つ環境のモデルを学習できるように,自動学習の能力を高める。 我々は,LunarLander,CartPole,Mountain Car,Acrobotなど,OpenAI GymのRLベンチマーク環境に自動学習フレームワークを適用した。
  論文  参考訳（メタデータ） (2023-06-29T12:47:28Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
  深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。 本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。 既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
  論文  参考訳（メタデータ） (2021-10-06T19:30:25Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。