論文の概要: Are We Measuring Strategy or Phrasing? The Gap Between Surface- and Approach-Level Diversity in LLM Math Reasoning
- arxiv url: http://arxiv.org/abs/2606.29985v1
- Date: Mon, 29 Jun 2026 08:59:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.139625
- Title: Are We Measuring Strategy or Phrasing? The Gap Between Surface- and Approach-Level Diversity in LLM Math Reasoning
- Title（参考訳）: 我々は戦略を測るのか、それともプラーシングなのか? : LLM数学推論における表面とアプローチレベルの多様性のギャップ
- Abstract要約: 従来の多様性対策は、アプローチレベルの多様性に対する信頼できないプロキシであることを示す。
我々の研究は、アプローチレベルの多様性の概念を導入し、表面信号とアプローチレベルの信号の体系的な相違を明らかにする。
- 参考スコア（独自算出の注目度）: 23.417956258945427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture surface-level variation rather than differences in how a problem is solved. We address this gap by introducing approach-level diversity: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.
- Abstract（参考訳）: LLMの数学的推論の多様性は探索に不可欠であるが、一般的な多様性指標は、問題がどのように解決されるかという違いよりも、表面レベルの変動を主に捉えている。
我々は、アプローチレベルの多様性を導入することで、このギャップに対処する。
人手によるLCM判定の枠組みを用いて,事前の多様性対策はアプローチレベルの多様性に対する信頼性の低いプロキシであり,このミスマッチは,アプローチレベルの多様性の低下とともに目標指標が保存されるRLVRへと引き継がれることを示す。
アプローチレベルの多様性が直接誘導できるかどうかを調査した結果、アプローチの多様性候補セットはテスト時間のスケーリングを改善することがわかった。
しかし、LLM判事の多様性報酬をトレーニング中に最適化することは、そのアプローチを広くするよりも、裁判官固有の選好を活用させ、アプローチレベルの多様性の直接的な最適化をオープンな問題として残すことになる。
私たちの研究は、アプローチレベルの多様性の概念を導入し、表面レベルの信号とアプローチレベルの信号の体系的な相違を明らかにします。
関連論文リスト
- SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。
提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。
様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-01T07:13:20Z) - From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。
モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。
タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
論文 参考訳（メタデータ） (2026-01-28T09:29:40Z) - Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs [126.45104018441698]
強化学習(RL)は、大規模言語モデル(LLM)の訓練後の中心パラダイムとなっている。
この失敗は、解の集合の多様性よりもむしろ局所的なトークンの振る舞いを規則化することに起因すると我々は主張する。
我々は,まれなハイレベル戦略を示す正しいソリューションを明示的に報酬する,ロールアウトレベルの目標であるUniqueness-Aware Reinforcement Learningを提案する。
論文 参考訳（メタデータ） (2026-01-13T17:48:43Z) - Trajectory First: A Curriculum for Discovering Diverse Policies [17.315583101484147]
多様な方法でタスクを解くことができるため、エージェントはタスクのバリエーションに対してより堅牢になり、局所最適性が低下する。
多様なエージェントを並列に訓練する強力な強化学習フレームワークとして、制約付き多様性最適化が登場した。
ステップベースの政策を学習する前に,まず軌道レベルを探索するカリキュラムを提案する。
論文 参考訳（メタデータ） (2025-06-02T11:47:51Z) - Diversity-Aware Policy Optimization for Large Language Model Reasoning [42.09410936368148]
大規模言語モデルに対するRLに基づく学習における多様性の影響について検討する。
多様性を考慮したポリシー最適化手法を提案する。
本手法は4つの数学的推論ベンチマークで平均3.5パーセントの改善を実現している。
論文 参考訳（メタデータ） (2025-05-29T13:27:44Z) - Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。
嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。
これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
論文 参考訳（メタデータ） (2025-04-16T23:02:23Z) - A Unified Algorithm Framework for Unsupervised Discovery of Skills based
on Determinantal Point Process [53.86223883060367]
教師なしオプション発見における多様性とカバレッジは、実際には同じ数学的枠組みの下で統一可能であることを示す。
提案アルゴリズムであるODPPは,MujocoとAtariで作成した課題に対して,広範囲に評価されている。
論文 参考訳（メタデータ） (2022-12-01T01:40:03Z) - Discovering Policies with DOMiNO: Diversity Optimization Maintaining
Near Optimality [26.69352834457256]
我々はこの問題を制約付きマルコフ決定過程として定式化する。
目的は、集合内の政策の国家占有率間の距離によって測定される多様な政策を見つけることである。
本手法は様々な領域において多様かつ有意義な振る舞いを発見できることを示す。
論文 参考訳（メタデータ） (2022-05-26T17:40:52Z) - Unifying Behavioral and Response Diversity for Open-ended Learning in
Zero-sum Games [44.30509625560908]
オープンエンド学習アルゴリズムでは、多様性の定義が広く受け入れられておらず、多様なポリシーの構築と評価が困難である。
行動多様性(BD)と反応多様性(RD)の両方に基づくマルチエージェントオープンエンド学習における多様性の統一尺度を提案する。
現在,多くの多様性対策が,BDやRDのカテゴリの1つに該当するが,両方ではないことを示す。
この統一された多様性尺度を用いて、オープンエンド学習における最良の応答を求める際に、対応する多様性促進目標と人口効果度を設計する。
論文 参考訳（メタデータ） (2021-06-09T10:11:06Z) - Discovering Diverse Nearly Optimal Policies withSuccessor Features [30.144946007098852]
強化学習では、多様なポリシーの集合が探索、移動、階層化、堅牢性に有用である。
本稿では,継承的特徴の空間において多種多様であるポリシーを発見する方法として,多元的継承政策を提案する。
論文 参考訳（メタデータ） (2021-06-01T17:56:13Z) - Variational Policy Propagation for Multi-agent Reinforcement Learning [68.26579560607597]
本稿では,エージェント間の相互作用を通じて,共役ポリシーを学習するために,変動ポリシー伝搬 (VPP) という,共役型多エージェント強化学習アルゴリズムを提案する。
共同政策がマルコフランダム場(Markov Random Field)であることは、いくつかの穏やかな条件下で証明し、それによって政策空間を効果的に減少させる。
我々は、マルコフ確率場から効率的に行動をサンプリングでき、全体的な政策が微分可能であるようなポリシーにおいて、変動推論を特別な微分可能な層として統合する。
論文 参考訳（メタデータ） (2020-04-19T15:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。