Fugu-MT 論文翻訳(概要): IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

論文の概要: IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

arxiv url: http://arxiv.org/abs/2604.20933v1
Date: Wed, 22 Apr 2026 11:52:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-24 14:40:06.103591
Title: IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning
Title（参考訳）: IRIS: 大規模言語モデルファインチューニングのための補間的Rényiイテレーティブセルフプレイ
Abstract要約: セルフプレイの微調整により、人間のアノテーションを追加することなく、教師付き微調整を超えて大きな言語モデルを改善することができる。 IRIS(Interpolative Rényi Iterative Self-play)は,連続的に調整可能な目的を持った,レニイをベースとしたセルフプレイファインチューニングフレームワークである。 Zephyr-7BとQwen2.5-3Bを10のベンチマークで比較したところ、IRISはベースラインを改善し、平均スコアは44.57%に達した。
参考スコア（独自算出の注目度）: 1.4474373238664187
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-play fine-tuning enables large language models to improve beyond supervised fine-tuning without additional human annotations by contrasting annotated responses with self-generated ones. Many existing methods rely on a fixed divergence regime. SPIN is closely related to a KL-based regime, SPACE to a Jensen-Shannon-style objective via noise contrastive estimation, and SPIF to $χ^2$-regularized self-play. Since these divergences exhibit different strengths depending on the distributional gap between model and target, no single choice appears to provide favorable learning dynamics across training stages. We propose IRIS (Interpolative Rényi Iterative Self-play), a Rényi-based self-play fine-tuning framework with a continuously adjustable objective. IRIS decomposes into two independent tilted risk terms over annotated and synthetic data, with exponential importance weights controlled by the order parameter $α$. We show that several self-play objectives can be interpreted as limiting or representative regimes at particular values of $α$, providing a unified theoretical perspective on these methods. An adaptive order schedule further adjusts $α$ to the distributional gap, shifting from sharper importance weighting early in training to smoother refinement near convergence. Theoretically, we establish the fixed-point property of IRIS and analyze how $α$ controls gradient concentration. Experiments on Zephyr-7B and Qwen2.5-3B across ten benchmarks show that IRIS improves upon baselines, reaching 44.57\% average score with gains across iterations. In our setting, IRIS with only 26$k$ annotated samples surpasses standard supervised fine-tuning trained on the full 200$k$ dataset.
Abstract（参考訳）: セルフプレイファインチューニングは、注釈付き応答と自己生成の応答とを対比することにより、人間のアノテーションを追加することなく、教師付きファインチューニングを超えて、大きな言語モデルを改善することができる。既存の多くの手法は、固定された分岐系に依存している。 SPINはKLベースのシステムと密接に関連しており、SPACEはノイズコントラスト推定によってJensen-Shannonスタイルの目的に近づき、SPIFは$ ^2$-regularized self-playとなる。これらの発散は、モデルと対象間の分布的ギャップによって異なる強度を示すため、トレーニング段階全体にわたって良好な学習力学を提供するような単一の選択は存在しない。 IRIS(Interpolative Rényi Iterative Self-play)は,連続的に調整可能な目的を持った,レニイをベースとしたセルフプレイファインチューニングフレームワークである。 IRISは、アノテートおよび合成データに対して2つの独立した傾きリスク項に分解され、指数的重要性重みは順序パラメータ$α$で制御される。いくつかの自己プレー目的を,特定の値が$α$の制限的あるいは代表的レギュレーションと解釈し,これらの手法に関する統一的な理論的視点を提供することを示す。適応順序スケジュールは、トレーニングの初期段階において、より重要度の高い重み付けから、収束近くのスムーズな洗練へとシフトする、分散ギャップへの$αの調整をさらに行う。理論的には、IRISの固定点特性を確立し、α$が勾配濃度を制御する方法を分析する。 Zephyr-7BとQwen2.5-3Bを10のベンチマークで比較したところ、IRISはベースラインを改善し、44.57\%の平均スコアに達した。私たちの設定では、26$k$のアノテーション付きサンプルしか持たないIRISは、200$k$のデータセットでトレーニングされた標準的な教師付き微調整を超えています。

関連論文リスト

Soft Specialists: $α$-Rényi Ensembles for Uncertainty-Aware LLM Post-Training [4.297453240868895]
大規模言語モデルの既存のトレーニングアプローチは、大量のデータに基づいて、単一のパラメータセットを学習する。学習後パラメータよりも分布を学習するための$-Rényi変分フレームワークを提案する。局所安定性基準を同定し,モデルの不特定により非退化後部が局所的に拡散しやすいことを示す。
論文参考訳（メタデータ） (2026-05-26T22:44:58Z)
Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文参考訳（メタデータ） (2026-05-14T20:27:32Z)
Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States [14.658333957936769]
内部状態価値推定による政策最適化を導入する。ポリシーフォワードパス中に既に計算されているポリシーモデルの内部信号を用いて、無視可能なコストでベースラインを得る。軽量プローブは、プロンプトおよび生成された軌道の隠れ状態から期待される検証可能な報酬を予測する。
論文参考訳（メタデータ） (2026-05-08T10:49:36Z)
Quantifying Self-Preservation Bias in Large Language Models [9.590157416396194]
本稿では,emphTwo-role Benchmark for Self-Preservationを紹介する。役割アイデンティティが客観的ユーティリティを過度に上回る頻度を測定する。我々は,低改善体制下では,モデルが解釈スラックを利用してポストホック合理化を行うのを観察する。
論文参考訳（メタデータ） (2026-04-02T15:38:31Z)
Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-03-27T11:34:41Z)
Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文参考訳（メタデータ） (2026-03-20T19:34:53Z)
$V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2026-03-11T14:57:41Z)
Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文参考訳（メタデータ） (2026-03-10T04:07:39Z)
Rough Path Signatures: Learning Neural RDEs for Portfolio Optimization [0.0]
本稿では,絡み合ったログシグナチャをニューラル粗微分方程式のバックボーンに結合する BSDE/2BSDE 解法を提案する。 CVaR方式の端末は左尾リスクをターゲットとし、オプションの2列(2BSDE)のヘッドはリスクに敏感な制御のための曲率推定を提供する。 d=200では、強いベースラインではCVaR(0.99)=9.80%、強いベースラインでは12.00-13.10%、最低HJB残基(0.011)に達し、Zとガンマでは最低RMSEが得られる。
論文参考訳（メタデータ） (2025-10-12T18:02:12Z)
FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文参考訳（メタデータ） (2025-05-19T07:32:56Z)
RSPO: Regularized Self-Play Alignment of Large Language Models [54.593523736962]
Regularized Self-Play Policy Optimization (RSPO) は、事前のメソッドを統一し、様々な正規化ツールのプラグイン・アンド・プレイ統合を可能にする汎用的でモジュール化されたフレームワークである。 20ドル以上の微調整Mistral-7B-Instructモデルに関する実証研究により、前方KL偏差正規化は応答長を減少させる一方、逆KL偏差は生の利得率を著しく向上させることが明らかとなった。
論文参考訳（メタデータ） (2025-02-24T22:43:21Z)
Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2024-10-22T16:04:03Z)
Autoregressive Bandits [58.46584210388307]
本稿では,オンライン学習環境であるAutoregressive Banditsを提案する。報酬プロセスの軽微な仮定の下では、最適ポリシーを便利に計算できることが示される。次に、新しい楽観的後悔最小化アルゴリズム、すなわちAutoRegressive Upper Confidence Bound (AR-UCB)を考案し、$widetildemathcalO left( frac(k+1)3/2sqrtnT (1-G)のサブ線形後悔を被る。
論文参考訳（メタデータ） (2022-12-12T21:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。