論文の概要: Where Larger Models Excel: The Primacy of Constraint-Guided Reasoning

• arxiv url: http://arxiv.org/abs/2606.26108v1
• Date: Sat, 09 May 2026 09:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.945241
• Title: Where Larger Models Excel: The Primacy of Constraint-Guided Reasoning
• Title（参考訳）: Excelの大型モデル:制約型推論の優位性
• Abstract要約: より大きなモデルが安定した優位性を示すような疑問を識別する自動フレームワークを開発する。 我々の分析は、ドメイン間で再帰する共通のアドバンテージと、特定のドメインに関連する特別なアドバンテージの両方にまたがる、より大きなモデル推論のアドバンテージの体系的な分類をもたらす。 より大きなモデルは、明示的で暗黙的な制約を識別し、構造化された推論に分類し、実行不可能なパスを除外し、中間ステップを検証するためにそれらを使用するのがよい。
• 参考スコア（独自算出の注目度）: 15.328262855516689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Larger language models consistently outperform smaller ones on reasoning benchmarks, yet the reasoning differences underlying this gap remain underexplored. Across benchmarks in mathematics, physics, chemistry, and programming, we observe stable performance gaps: averaged over datasets, Qwen3-32B outperforms Qwen3-8B by 6.43%, while GPT-OSS-120B exceeds GPT-OSS-20B by 7.38%. To study the reasoning differences behind these gains, we develop AdvCluster, an automated framework that identifies questions where the larger model shows a stable advantage, extracts fine-grained advantage descriptions from paired reasoning traces produced by larger and smaller models, and organizes them through semantic clustering with quantitative evaluation and selection guided by a reviewer model. Our analysis yields a systematic taxonomy of larger model reasoning advantages, spanning both common advantages that recur across domains and specialized advantages associated with particular domains. Across these patterns, a recurring theme is Constraint-Guided Reasoning: larger models are better at identifying explicit and implicit constraints, organizing them into structured reasoning, and using them to rule out infeasible paths and verify intermediate steps.
• Abstract（参考訳）: より大規模な言語モデルは、推論ベンチマークにおいてより小さなものよりも一貫して優れているが、このギャップの根底にある理由の相違は未解明のままである。 Qwen3-32BはQwen3-8Bを6.43%上回り、GPT-OSS-120BはGPT-OSS-20Bを7.38%上回る。 これらの利得の背景にある推論の違いを研究するために、我々はAdvClusterを開発する。これは、より大きなモデルが安定した優位性を示すかどうかを問う自動フレームワークであり、大小のモデルによって生成されるペアの推論トレースからきめ細かい利点記述を抽出し、レビュアーモデルによって定量的に評価され、選択されるセマンティッククラスタリングによってそれらを整理する。 我々の分析は、ドメイン間で再帰する共通のアドバンテージと、特定のドメインに関連する特別なアドバンテージの両方にまたがる、より大きなモデル推論のアドバンテージの体系的な分類をもたらす。 より大きなモデルは、明示的で暗黙的な制約を識別し、構造化された推論に分類し、実行不可能なパスを除外し、中間ステップを検証するためにそれらを使用するのがよい。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Reasoning-Driven Multimodal LLM for Domain Generalization [72.00754603114187]
  DomainBed-Reasoning データセットを用いた領域一般化における推論の役割について検討する。 MTCT(Multi-Task Cross-Training)とSARR(Self-Aligned Reasoning Regularization)の2つのコンポーネントからなるフレームワークであるRD-MLDGを提案する。 標準のDomainBedデータセットの実験は、RD-MLDGが補完的な最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-02-27T08:10:06Z)
• Evaluating and Enhancing the Vulnerability Reasoning Capabilities of Large Language Models [15.849480549367684]
  本稿では,DAG生成タスクとして脆弱性推論をモデル化する新しいフレームワークであるDAGVulを提案する。 さらにReinforcement Learning with Verifiable Rewards (RLVR)を導入することで、モデル推論トレースをプログラム固有の論理と整合させる。 我々のフレームワークは、すべてのベースラインに対して平均18.9%の推論F1スコアを改善します。
  論文  参考訳（メタデータ） (2026-02-06T13:19:45Z)
• Group Pattern Selection Optimization: Let LRMs Pick the Right Pattern for Reasoning [38.16271055029922]
  グループパターン選択最適化(GPSO)は大規模推論モデルのための強化学習フレームワークである。 GPSOには、複数パターンのロールアウト、検証者による問題ごとの最適パターン選択、学習ポリシーへの明示的なパターン接尾辞の漏洩を防ぐためのアテンションマスキングが組み込まれている。 大規模な実験では、GPSOはさまざまなモデルバックボーンとベンチマークで、一貫性と実質的なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-01-12T06:19:09Z)
• BRAID: Bounded Reasoning for Autonomous Inference and Decisions [0.0]
  本稿では,BRAIDを用いた構造化プロンプトに関する研究 (Au Tonomous Inference and Decisionsのための境界推論) BRAID は Mermaid ベースの命令グラフを用いた有界推論フレームワークを導入している。 構成機械可読プロンプトは,生産システムにおけるエージェントの推論精度とコスト効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-12-17T20:46:44Z)
• Topology of Reasoning: Understanding Large Reasoning Models through Reasoning Graph Properties [48.56470855119906]
  本稿では,各推論ステップで隠れ状態表現をクラスタリングすることで抽出した推論グラフの概念を紹介する。 複数のタスクにまたがる巡回性、直径、小世界指数の3つの重要なグラフ理論特性を解析する。
  論文  参考訳（メタデータ） (2025-06-06T05:05:11Z)
• Structured Thinking Matters: Improving LLMs Generalization in Causal Inference Tasks [0.7988085110283119]
  Corr2Cause のデータセットによる最近の結果は、最先端の LLM がランダムベースラインをわずかに上回っていることを示している。 我々は、構造化知識グラフを構築するためのモデルを導くことによって、その思考を構造化する能力を備えたモデルを提供する。 Qwen3-32Bモデル(推論モデル)を用いたCorr2Causeデータセットベンチマークのテストサブセットの実験は、標準的なダイレクトプロンプトメソッドよりも大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-05-23T15:37:40Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。