論文の概要: Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2605.11636v1
• Date: Tue, 12 May 2026 06:58:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.649195
• Title: Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning
• Title（参考訳）: Seirênes: LLM推論のための進化するディストラクションを備えた対戦型セルフプレイ
• Authors: Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Xinbo Gao, Jing Zhang,
• Abstract要約: 本稿では、文脈干渉を内部の訓練信号に変換するセルフプレイのRLフレームワークであるSeyrnesを紹介する。 単一のモデルでは、可視的かつ気を散らすようなコンテキストの構築と、それ自身で盲点を露呈するように訓練されている。 これらの競合する目標を互いに衝突させることで、Sailnes氏は、表面的なパターンマッチングを超えてモデルを補完する。
• 参考スコア（独自算出の注目度）: 56.48520300004217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Seirênes, a self-play RL framework that transforms contextual interference from a failure mode of LLM reasoning into an internal training signal for co-evolving more resilient reasoners. While RL with verifiable rewards has significantly advanced reasoning capabilities, models can still exhibit fragility when encountering non-idealized contexts: scenarios characterized by superfluous information, tangential instructions, or incidental correlations that differ from the clean distributions typical of standard benchmarks. Seirênes harnesses this vulnerability through a parameter-shared and adversarial self-play loop. Within this framework, a single model is trained to both construct plausible yet distracting contexts that expose its own reasoning blind spots, and solve problems by discerning the essential task from these perturbations to recover the core underlying logic. By pitting these competing objectives against each other, Seirênes compels the model to move beyond superficial pattern matching and anchors its capabilities in robust underlying reasoning. This continuous interaction sustains an informative co-evolutionary curriculum as the model improves. Across seven mathematical reasoning benchmarks and model scales from 4B to 30B, Seirênes achieves average gains of +10.2, +9.1, and +7.2 points. Besides, distracting contexts produced by the 4B Seirênes model reduce the accuracy of top-tier closed-source models (GPT and Gemini) by roughly 4--5 points, revealing Seirênes' general ability to uncover reasoning models' blind spots.
• Abstract（参考訳）: 我々は、文脈干渉をLLM推論の失敗モードから、より弾力性のある推論器を共進化させる内部トレーニング信号に変換するセルフプレイのRLフレームワークであるSeirênesを紹介する。 検証可能な報酬を持つRLは、かなり高度な推論能力を持つが、モデルは、非理想化されたコンテキストに遭遇する際の脆弱さを示す: 過剰な情報、具体的な指示、あるいは標準ベンチマークの典型的なクリーンな分布とは異なる偶発的な相関によって特徴づけられるシナリオ。 Seirênesはこの脆弱性を、パラメータ共有された対向的なセルフプレイループを通じて活用する。 このフレームワーク内では、単一のモデルが、自身の推論の盲点を露呈する可塑性かつ気を散らすコンテキストの構築と、これらの摂動から本質的なタスクを識別して、コアとなるロジックを復元することで問題を解決するように訓練されている。 これらの競合する目標を互いに比較することで、Seirênes氏は、表面的なパターンマッチングを超えてモデルを補完し、その能力を堅牢な基礎的推論に固定する。 この継続的な相互作用は、モデルが改善されるにつれて、情報的な共進化のカリキュラムを維持します。 7つの数学的推論ベンチマークとモデルスケールが4Bから30Bにまたがって、セイレンスは+10.2、+9.1、+7.2点の平均利得を達成した。 さらに、4B Seirênesモデルが生み出した混乱するコンテキストは、最上位のクローズドソースモデル(GPTとGemini)の精度をおよそ4～5ポイント削減し、セイレーンズが推論モデルの盲点を発見できる一般的な能力を明らかにした。

関連論文リスト

• Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models [46.26628756478016]
  大規模言語モデル(LLM)は、事前学習データにおける共用推論パターンを通じて推論能力を取得することが知られている。 コンフリクト中に信頼性スコアが著しく低下するため、推論競合は内部で検出可能であることを示す。 その結果, LLM推論は具体例に固定されているものの, アクティブな機械的介入は論理的スキーマをデータから効果的に切り離すことができることがわかった。
  論文  参考訳（メタデータ） (2026-04-29T22:55:40Z)
• R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning [20.899863841051662]
  クロスモーダルな不整合は、学習のための豊かで自然な信号を提供する。 我々は、クロスモーダルサイクルの一貫性を強制することによって内部衝突を解決する強化学習フレームワークRC2を紹介する。 我々の結果は、高度な推論は、データのスケーリングだけでなく、構造的に一貫した世界を理解することによっても現れることを示唆している。
  論文  参考訳（メタデータ） (2026-03-26T17:58:04Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• Evaluating and Enhancing the Vulnerability Reasoning Capabilities of Large Language Models [15.849480549367684]
  本稿では,DAG生成タスクとして脆弱性推論をモデル化する新しいフレームワークであるDAGVulを提案する。 さらにReinforcement Learning with Verifiable Rewards (RLVR)を導入することで、モデル推論トレースをプログラム固有の論理と整合させる。 我々のフレームワークは、すべてのベースラインに対して平均18.9%の推論F1スコアを改善します。
  論文  参考訳（メタデータ） (2026-02-06T13:19:45Z)
• Distributional Clarity: The Hidden Driver of RL-Friendliness in Large Language Models [50.99097734404912]
  RLフレンドリなモデルでは, クラス内コンパクト性やクラス間分離が, 正誤応答に対する確率割当に現れることを示す。 6つの数学ベンチマークによる実験では、すべてのモデルファミリで一貫した改善が見られ、AIME24では5.9ポイントまで向上した。
  論文  参考訳（メタデータ） (2026-01-11T13:34:44Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Inverse Scaling in Test-Time Compute [51.16323216811257]
  LRM(Large Reasoning Models)の推論長の延長は性能を低下させる。 モデルが長い理由付けをする場合には、5つの異なる障害モードを特定します。 これらの結果は、テストタイムの計算スケーリングはモデル機能の改善に引き続き期待できるが、問題のある推論パターンを必然的に補強する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-07-19T00:06:13Z)
• Improving Group Robustness on Spurious Correlation via Evidential Alignment [26.544938760265136]
  ディープニューラルネットワークは、しばしば急激な相関、すなわち非因果的特徴と標的の間の表面的関連を学習し、依存する。 既存のメソッドは通常、外部のグループアノテーションや補助的な決定論的モデルを使用することでこの問題を軽減する。 偏りのあるモデルの振る舞いを理解するために不確実性定量化を利用する新しいフレームワークであるエビデンシャルアライメントを提案する。
  論文  参考訳（メタデータ） (2025-06-12T22:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。