論文の概要: SELF-REDRAFT: Eliciting Intrinsic Exploration-Exploitation Balance in Test-Time Scaling for Code Generation

• arxiv url: http://arxiv.org/abs/2511.02854v1
• Date: Fri, 31 Oct 2025 06:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.17069
• Title: SELF-REDRAFT: Eliciting Intrinsic Exploration-Exploitation Balance in Test-Time Scaling for Code Generation
• Title（参考訳）: SELF-REDRAFT:コード生成のためのテスト時間スケーリングにおける本質的な探索-探索バランスの緩和
• Authors: Yixiang Chen, Tianshi Zheng, Shijue Huang, Zhitao He, Yi R. Fung,
• Abstract要約: インタプリタのフィードバックなしにテスト時のスケーリングは、現実のコード生成シナリオに不可欠である。 SELF-REDRAFTはSelf-Refine上に構築されたフレームワークで、根本的な欠陥のあるソリューションのための新しいドラフトの提案を促進する。
• 参考スコア（独自算出の注目度）: 12.241337921137259
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Test-time scaling without interpreter feedback is essential for real-world code generation scenarios where test cases are not readily available. While existing paradigms often rely on either greedy exploitation (i.e., iterative refinement) or stochastic exploration (i.e., relying on sample-based voting or reranking mechanisms), the balance between these two dimensions remains underexplored. To investigate the LLM's intrinsic ability to balance exploitation and exploration, we introduce SELF-REDRAFT, a framework built upon Self-Refine that encourages the model to propose new drafts for solutions that are fundamentally flawed. Our results show that SELF-REDRAFT consistently achieves better performance than Self-Refine when converged under the same maximum number of iterations. Still, we observe that significant room for improvement remains, largely due to two core aspects of current self-redraft capabilities: constrained capacity for generating instructive feedback and fragile discriminative judgment. We also find that balancing strategies vary notably across different LLMs, reflecting distinct, model-specific behaviors. Overall, our study establishes a baseline for intrinsic exploration-exploitation balancing in test-time scaling and identifies feedback and discrimination as key areas with potential for future advances.
• Abstract（参考訳）: インタプリタのフィードバックなしにテスト時のスケーリングは、テストケースが簡単に利用できない実世界のコード生成シナリオに不可欠である。 既存のパラダイムは、しばしば欲求的な搾取(すなわち反復的な洗練)または確率的な探索(すなわち、サンプルベースの投票や再配置機構に依存する)に頼っているが、これらの2つの次元のバランスはいまだに解明されていない。 LLMの本質的な利用と探索のバランスをとる能力を調べるために,Self-REDRAFTを導入する。Self-REDRAFTはSelf-Refine上に構築されたフレームワークで,基本的な欠陥のあるソリューションに対する新たなドラフトの提案を促す。 この結果から,SELF-REDRAFTは,同じイテレーション数で収束した場合,自己修正よりも優れた性能が得られることがわかった。 それでも、現在の自己退行能力の2つの中核的な側面、すなわち、インストラクティブフィードバックを生成するための制限された能力と、脆弱な差別的判断のため、改善の余地は依然として残っています。 また、バランス戦略は、異なるモデル固有の振る舞いを反映して、異なるLLM間で顕著に異なることが分かる。 本研究は,テストタイムスケーリングにおける本質的な探索・探索バランスのベースラインを確立し,今後の進歩の可能性を秘めた重要な領域として,フィードバックと識別を同定する。

関連論文リスト

• Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
  本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。 このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。 合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-03-04T06:52:37Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• A Comprehensive Evaluation of LLM Reasoning: From Single-Model to Multi-Agent Paradigms [20.241519889633285]
  大規模言語モデル(LLM)は、推論パラダイムが重要な役割を果たす推論システムとして、ますます多くデプロイされている。 我々は、直接単モデル生成、CoT拡張単モデル推論、代表MASなど、推論パラダイムを包括的かつ統一的に評価する。 MIMeBenchは、2つの基本的な未探索セマンティック機能をターゲットにした新しいオープンエンドベンチマークである。
  論文  参考訳（メタデータ） (2026-01-19T17:23:45Z)
• Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness [4.129847064263056]
  ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。 二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。 実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
  論文  参考訳（メタデータ） (2025-12-21T05:22:04Z)
• Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.2144357080404]
  大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。 外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
  論文  参考訳（メタデータ） (2025-10-20T07:53:51Z)
• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)
• Towards Inference-time Scaling for Continuous Space Reasoning [55.40260529506702]
  推論時間スケーリングは、大規模言語モデルにおけるテキストベースの推論に有効であることが証明されている。 本稿では,そのような確立された手法が連続空間における推論にうまく適応できるかどうかを考察する。 本研究では,ドロップアウト型サンプリングによる多種多様な推論経路の実現可能性を示す。
  論文  参考訳（メタデータ） (2025-10-14T05:53:41Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• B-STaR: Monitoring and Balancing Exploration and Exploitation in Self-Taught Reasoners [18.960920426485163]
  自己改善は、パフォーマンスを向上させる主要な方法として現れています。 本稿では,この反復的プロセスにおいて2つの重要な要因をモニタする手法を提案し,提案する。 B-STaRは、反復的な構成を調整し、探索とエクスプロイトのバランスをとる自己学習推論フレームワークである。
  論文  参考訳（メタデータ） (2024-12-23T03:58:34Z)
• LLMs are Biased Evaluators But Not Biased for Retrieval Augmented Generation [28.61326111959728]
  大規模言語モデル(LLM)は評価タスク、特に優先的に評価し、自己生成したコンテンツを好む場合に重大なバイアスを示す。 本研究では,この知識ギャップを,検索強化世代(RAG)フレームワークの2つの重要なフェーズをシミュレートすることによって解決する。 以上の結果とは対照的に,RAGフレームワークに有意な自己選好効果は認められなかった。
  論文  参考訳（メタデータ） (2024-10-28T08:32:09Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。