Fugu-MT 論文翻訳(概要): Flux-OPD: On-Policy Distillation with Evolving Contexts

論文の概要: Flux-OPD: On-Policy Distillation with Evolving Contexts

arxiv url: http://arxiv.org/abs/2607.28022v1
Date: Thu, 30 Jul 2026 11:11:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-31 21:37:00.519317
Title: Flux-OPD: On-Policy Distillation with Evolving Contexts
Title（参考訳）: Flux-OPD:進化する文脈によるオンポリシィ蒸留
Abstract要約: OPDパラダイムであるFlux-OPDを提案する。これは、進化するコンテキストをトレーニング中の監視として利用し、オープンエンドドメインにおけるタスクの選好をキャプチャする。オープンなタスクの実験は、Flux-OPDが既存のPDパラダイムより優れていることを示している。
参考スコア（独自算出の注目度）: 30.791759661765127
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model training in open-ended domains lacks verifiable rewards, making task preferences difficult to formalize as effective supervision. Contexts can convey such preferences, yet provide little additional supervision once distilled into the student, motivating contexts that evolve with student performance. However, directly using evolving contexts as in-training supervision results in an unstable distillation target and conflicting distributions, requiring mechanisms to stabilize target and downweight conflicts. In this paper, we analyze the effect of contexts through a decomposition of the reverse KL objective, revealing two findings: the student is distilled toward the geometric mean of context-conditioned teachers, and the objective contains a conflict term that measures conflicts among these teachers. Based on this decomposition, we propose Flux-OPD, an OPD paradigm that uses evolving contexts as in-training supervision to capture task preferences in open-ended domains. Flux-OPD treats the differences between context-conditioned and context-free teachers as contextual difference signals, injects them as contextual corrections into the context-free teacher anchor, and weights their correction strength using the conflict term as an indicator. Experiments on open-ended tasks show that Flux-OPD outperforms existing OPD paradigms, highlighting the potential to combine teacher supervision with evolving contexts.
Abstract（参考訳）: オープンエンドドメインでの大規模言語モデルトレーニングでは、検証可能な報酬が欠如しており、効果的な監視としてタスクの選好を形式化することが難しくなっている。文脈はそのような好みを伝えることができるが、一度学生に蒸留すると、学生のパフォーマンスとともに進化する文脈を動機付ける追加の監督はほとんど提供しない。しかし、トレーニング中の監視として進化する文脈を直接使用すれば、不安定な蒸留ターゲットと競合する分布が得られ、ターゲットとダウンウェイト競合を安定化させるメカニズムが要求される。本稿では,逆KL目標の分解による文脈の影響を分析し,文脈条件の教師の幾何学的平均に向かって蒸留し,これらの教師間の対立を測るコンフリクト項を含む2つの知見を明らかにした。この分解に基づいて、進化するコンテキストをトレーニング中の監視として利用し、オープンエンドドメインのタスク嗜好をキャプチャするOPDパラダイムであるFlux-OPDを提案する。 Flux-OPDは文脈条件付き教師と文脈自由教師の違いを文脈差信号として扱い、文脈自由教師のアンカーに文脈的修正として注入し、コンフリクト項を指標として補正強度を重み付けする。オープンエンドタスクの実験では、Flux-OPDは既存のPDパラダイムよりも優れており、教師の監督と進化する文脈を結びつける可能性を強調している。

関連論文リスト

Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2026-08-08T05:46:32Z)
SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
論文参考訳（メタデータ） (2026-06-17T23:58:14Z)
When Context Returns: Toward Robust Internalization in On-Policy Distillation [36.31894794808421]
多くの設定において、蒸留された学生に元の特権的コンテキストを再導入することは、実際にその性能を低下させる。そこで本稿では,学習者の非文脈出力を停止次数でアンカーし,それから逸脱するための文脈条件付き出力をペナライズする軽量整合正則化器を提案する。本手法は, 文脈条件の精度を向上し, 12設定中11設定でコンテキスト依存性の害を低減し, 応答長インフレーションを効果的に除去する。
論文参考訳（メタデータ） (2026-06-10T03:43:43Z)
Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
論文参考訳（メタデータ） (2026-05-04T09:18:19Z)
Mixed-Initiative Context: Structuring and Managing Context for Human-AI Collaboration [29.939733064751124]
そこで本稿では,マルチターンインタラクション間で形成されるコンテキストを,明示的で構造化され,操作可能な対話オブジェクトとして再認識するMixed-Initiative Contextを提案する。この概念の下では、コンテキストの構造、スコープ、内容は動的に整理され、タスクのニーズに応じて調整される。
論文参考訳（メタデータ） (2026-04-08T14:16:50Z)
When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
論文参考訳（メタデータ） (2026-02-09T05:58:41Z)
Bifrost: Steering Strategic Trajectories to Bridge Contextual Gaps for Self-Improving Agents [102.21483770287985]
本稿では,自己改善のための訓練不要な方法として,BrIdgeコンテキストギャップFoR不適応軌道ステアリング(Bifrost)を提案する。ビフロストは既存の軌道再利用と微調整による自己改善法を一貫して上回る。
論文参考訳（メタデータ） (2026-02-05T16:03:56Z)
On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
教師付き微調整後の文脈認識の喪失について検討した。性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。一般命令微調整データセットから文脈依存例を識別する指標を提案する。
論文参考訳（メタデータ） (2024-11-05T00:16:01Z)
Topic-driven Distant Supervision Framework for Macro-level Discourse Parsing [72.14449502499535]
テキストの内部修辞構造を解析する作業は、自然言語処理において難しい問題である。近年のニューラルモデルの発展にもかかわらず、トレーニングのための大規模で高品質なコーパスの欠如は大きな障害となっている。近年の研究では、遠方の監督を用いてこの制限を克服しようと試みている。
論文参考訳（メタデータ） (2023-05-23T07:13:51Z)
An Adaptive Deep RL Method for Non-Stationary Environments with Piecewise Stable Context [109.49663559151377]
未知の環境コンテキストへの適応に関する既存の作業は、コンテキストが全エピソードで同じであると仮定するか、コンテキスト変数がマルコフ的であると仮定するかのどちらかである。本稿では,textittextbfSegmented textbfContext textbfBelief textbfAugmented textbfDeep(SeCBAD) RL法を提案する。提案手法は,潜在コンテキスト上の信念分布と後方セグメント長とを共同で推定し,観測データを用いたより正確な信念コンテキスト推定を行う。
論文参考訳（メタデータ） (2022-12-24T13:43:39Z)
Reinforcement Learning in Presence of Discrete Markovian Context Evolution [7.467644044726776]
a) 直接観測不可能な文脈の未知の有限個の数、b) エピソード中に突然発生する(不連続な)文脈変化、c) マルコフ的文脈進化を特徴とする文脈依存強化学習環境を考える。我々はモデル学習に先立って、粘着した階層的ディリクレプロセス(HDP)を適用する。これら2つのコンポーネントの組み合わせによって、コンテキストの濃度仮定を扱うデータからコンテキストの数を推測することが可能である、と我々は主張する。
論文参考訳（メタデータ） (2022-02-14T08:52:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。