論文の概要: INFUSER: Influence-Guided Self-Evolution Improves Reasoning

• arxiv url: http://arxiv.org/abs/2606.09052v1
• Date: Mon, 08 Jun 2026 05:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.71787
• Title: INFUSER: Influence-Guided Self-Evolution Improves Reasoning
• Title（参考訳）: INFUSER: インフルエンスガイドによる自己進化は推論を改善する
• Authors: Siyu Chen, Miao Lu, Beining Wu, Heejune Sheen, Fengzhuo Zhang, Shuangning Li, Zhiyuan Li, Jose Blanchet, Tianhao Wang, Zhuoran Yang,
• Abstract要約: 2つの共進化的役割を持つ反復的協調学習フレームワークを導入する。 解答器は、生成元が提供する回答に対して標準正当性報酬で訓練される。 8B INF共進化ジェネレータは、数学とコーディングにおいて凍った32B思考ジェネレータより優れている。
• 参考スコア（独自算出の注目度）: 54.101135873140066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolution offers a scalable path to stronger reasoning: a pretrained language model improves itself with only minimal external supervision. Yet existing methods either depend on extensively curated or teacher-generated training data, or, when the generator runs unsupervised, reward it by a difficulty heuristic that need not improve the solver. We introduce INFUSER, an iterative co-training framework with two co-evolving roles: a Generator that drafts questions and reference golden answers from a pool of unstructured, automatically collected documents, and a Solver that improves by training on them. The solver is trained with standard correctness rewards against the generator-provided answers, while the generator is rewarded by an optimizer-aware influence score that measures whether each proposed question would actually improve the solver on the target distribution. Because this continuous, noisy influence score is poorly served by standard GRPO, we propose DuGRPO, a dual-normalized variant of GRPO, for generator training. Together, these turn the document pool into an adaptive curriculum that favors questions useful to the current solver, not just hard ones. On Qwen3-8B-Base, INFUSER outperforms strong self-evolution baselines with over 20% relative improvement on Olympiad and SuperGPQA benchmarks, and an 8B INFUSER co-evolving generator outperforms a frozen 32B thinking generator on math and coding. Ablations confirm each design choice is necessary, and two extensions, applying INFUSER to an instruction-finetuned anchor and augmenting it with rule-verifiable RLVR data, further demonstrate the flexibility and generalizability of the framework. Code is available at https://github.com/FFishy-git/INFUSER.
• Abstract（参考訳）: 事前訓練された言語モデルは、最小限の外部監視だけで、自分自身を改善します。 しかし、既存の手法は、広範囲にキュレーションされたり、教師が作成したトレーニングデータに依存するか、あるいは、ジェネレータが教師なしで実行された場合、解法を改善する必要のない難解なヒューリスティックによって報いる。 本稿では,質問を起草し,未構造化で自動収集された文書のプールから黄金の回答を参照するジェネレータと,それらをトレーニングすることで改善するソルバーという,2つの共進化的な協調学習フレームワークであるINFUSERを紹介する。 生成元が提示した回答に対して標準的な正当性報酬をトレーニングし、生成元は、提案された各質問が目標分布において実際に解決元を改善するかどうかを測定する最適化者対応の影響スコアによって報奨される。 この連続的雑音効果スコアは標準GRPOでは不十分であるため, ジェネレータ訓練のためのデュアル正規化変種であるDuGRPOを提案する。 これらを合わせて、ドキュメントプールを適応的なカリキュラムに変換し、単にハードなものではなく、現在の解決者にとって有用な質問を好む。 Qwen3-8Bベースでは、INFUSERはOlympiadとSuperGPQAベンチマークの20%以上の相対的な改善により、強力な自己進化ベースラインより優れており、8B INFUSERの共同進化ジェネレータは、数学とコーディングにおける凍結32B思考ジェネレータより優れている。 アブレーションは、それぞれの設計選択が必要であることを確認し、2つの拡張で、INFUSERを命令精細アンカーに適用し、ルール検証可能なRLVRデータで拡張し、フレームワークの柔軟性と一般化性をさらに示す。 コードはhttps://github.com/FFishy-git/INFUSER.comで入手できる。

関連論文リスト

• DeGRe: Dense-supervised Generative Reranking for Recommendation [22.41679588580571]
  オフラインの探索とオンラインの効率のギャップを、密集した監督によって埋める、ジェネレーティブ・リグレード・フレームワークであるDeGReを提案する。 トレーニング中、評価器から高密度の監視信号に変換し、それらを軽量オンラインジェネレータに蒸留する。 私たちは、Taobao Flash ShoppingにDeGReをうまくデプロイし、オンラインレコメンデーションを大幅に改善しました。
  論文  参考訳（メタデータ） (2026-05-25T12:00:42Z)
• RISE: Reliable Improvement in Self-Evolving Vision-Language Models [22.16641554921884]
  視覚言語モデル(VLM)は強力なマルチモーダル推論機能を実現している。 VLMは依然として、ポストトレーニングのための大規模な人為的な監督に大きく依存している。 視覚言語モデルのための信頼性の高い自己進化フレームワークである textbfRISE を提案する。
  論文  参考訳（メタデータ） (2026-05-20T08:57:57Z)
• AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward [52.7128440950672]
  我々はAlphaGRPOを提案し、追加のコールドスタートステージなしでマルチモーダル生成能力を向上する。 我々のアプローチは、高度な推論タスクを実行するためのモデルの本質的な可能性を解き放つ。 実世界のマルチモーダル世代を安定的に管理する上での課題に対処するために、DVReward(Decompositional Verifiable Reward)を導入する。
  論文  参考訳（メタデータ） (2026-05-12T17:59:47Z)
• Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision [50.61441331643804]
  強化学習(Reinforcement Learning、RLVR)は、広く適用可能で強力であるが、訓練中に緩やかな監督しか提供しない二進的な報酬に依存している。 蒸留は、一般的に外部の教師や高品質なデモンストレーションを使って得られる、密集したトークンレベルの監督を提供する。 自己蒸留ゼロ(SD-Zero)は,RLよりもかなり訓練効率が高く,外部教師や高品質な実演を必要としない手法である。
  論文  参考訳（メタデータ） (2026-04-13T19:46:55Z)
• When Models Judge Themselves: Unsupervised Self-Evolution for Multimodal Reasoning [30.162034423611292]
  マルチモーダル推論のための教師なし自己進化学習フレームワークを提案する。 ヒューマンアノテートされた回答や外部報酬モデルを用いることなく、安定したパフォーマンス向上を実現する。 提案手法は5つの数学的推論ベンチマークにおける推論性能と一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-22T15:22:19Z)
• HLTCOE Evaluation Team at TREC 2025: VQA Track [76.85337417923331]
  HLT評価チームはTREC VQAのAnswer Generation (AG)タスクに参加した。 回答生成における意味的精度とランキングの整合性を改善することを目的としたリストワイズ学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T17:25:13Z)
• Generate, Discriminate, Evolve: Enhancing Context Faithfulness via Fine-Grained Sentence-Level Self-Evolution [61.80716438091887]
  GenDiE (Generate, Discriminate, Evolve) は、微粒な文レベルの最適化によって文脈忠実性を高める新しい自己進化フレームワークである。 応答中の各文を独立した最適化単位として扱うことで、GenDiEは以前のアプローチの限界に効果的に対処する。 ASQA(ドメイン内のLFQA)とConFiQAデータセットの実験は、GenDiEが忠実さと正しさの両方で様々なベースラインを超えることを示した。
  論文  参考訳（メタデータ） (2025-03-03T16:08:33Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。