論文の概要: USA: Update-aware SAM for Cross-domain On-Policy Disitllation of Language Agents

• arxiv url: http://arxiv.org/abs/2609.34225v1
• Date: Mon, 28 Sep 2026 03:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:47:28.57936
• Title: USA: Update-aware SAM for Cross-domain On-Policy Disitllation of Language Agents
• Title（参考訳）: USA: 言語エージェントのドメイン間オンポリケーションのための更新対応SAM
• Abstract要約: 我々は, マージ変位の大部分を搬送する座標に対して, 高精度に曲率を低減できるUSAを提案する。 数学、科学、コードの2つのスケールでの実験は、米国が6つの転送方向すべてで最強であることを示している。
• 参考スコア（独自算出の注目度）: 26.02237647306858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation instils multi-turn agentic reasoning through dense token-level supervision on the student's own trajectories, but a single domain saturates early, so further supervision has to be drawn from other domains. Multi-domain data mixing is the most direct way of incorporating them, at the cost of conflicts between their data distributions and of retraining the entire model whenever one domain is revised. Model merging avoids both by distilling every domain independently and fusing the resulting task vectors afterwards. We find instead that the benefit polarizes across domain pairs: on those exhibiting negative transfer, every merging operator we evaluate falls below the single-domain reference. We attribute this to cross-domain update coupling, where a substantial fraction of coordinates is updated comparably by both domains and a merge can therefore displace them by as much as their own updates. To overcome this limitation, we propose USA, which converts per-parameter update magnitudes measured during a brief warm-up into per-coordinate perturbation radii, reducing curvature precisely on the coordinates that carry most of the merging displacement. Experiments across mathematics, science and code at two student scales show USA strongest in all six transfer directions, ahead of the single-domain reference by more than four points on average, and reverse the negative transfer of the conflicting pairs.
• Abstract（参考訳）: オンライン蒸留は、学生自身の軌跡の密集したトークンレベルの監督を通じて、多ターンのエージェント推論を基盤としているが、単一のドメインが早期に飽和するため、他のドメインからさらなる監視を引き出す必要がある。 マルチドメインデータミキシングはそれらを組み込む最も直接的な方法であり、データ分散間の衝突と、1つのドメインが修正されるたびにモデル全体をトレーニングするコストがかかる。 モデルマージは、すべてのドメインを独立に蒸留し、その後のタスクベクトルを融合させることによって回避される。 負の転送を示す場合、評価するすべてのマージ演算子は、単一のドメイン参照以下になります。 これはドメイン間の更新結合によるもので、両方のドメインによってかなりの数の座標が互換性を持って更新されるため、マージはそれらを独自の更新で置き換えることができます。 この制限を克服するために、短時間のウォームアップ中に測定されたパラメータごとの更新の程度を座標ごとの摂動半径に変換するUSAを提案し、マージ変位の大部分を搬送する座標上での曲率を正確に低減する。 数学、科学、コードの2つのスケールでの実験では、米国は平均して4点以上の単一ドメイン参照よりも前の6つの転送方向すべてで最強であり、矛盾するペアの負の転送を逆転している。

関連論文リスト

• Where Detectors Fail: Closing the Tail-Domain Gap with Expert-Guided Mutual Distillation [20.50391194844207]
  EGMD(Expert-Guided Mutual Distillation)は、予測パイプライン全体で信頼できる証拠を学習する。 EGMDは最先端の精度を達成し、ドメインバイアスを最大57.3%削減する。
  論文  参考訳（メタデータ） (2026-07-29T07:27:31Z)
• Co-Adaptive Multi-Task LoRA: Transfer-Aware, Label-Free Control of Domain Participation [11.87012967179379]
  多くのドメインで一度に単一の低ランクアダプタを微調整することはマルチタスク学習である。 最も効率的な微調整パイプラインは、これを無視し、固定された均一な混合物で訓練する。 どちらの回答も、ラベルなしで安価に読み取ることができる。
  論文  参考訳（メタデータ） (2026-07-03T17:50:03Z)
• A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL [49.589717630468876]
  単一領域のRLは、上位変化ニューロン間の重なりが弱い、スパースで小振幅のパラメータの編集を生成する。 マルチドメインRLの局所モデルの下では、後続のドメイントレーニングは、主に2階の損傷項によって、以前のドメインに害を与えることが証明される。
  論文  参考訳（メタデータ） (2026-06-01T15:44:56Z)
• Context-aware Domain Adaptation for Time Series Anomaly Detection [69.3488037353497]
  時系列異常検出は、幅広い現実世界の応用において難しい課題である。 近年,類似分野の知識を活用するため,時系列領域適応への取り組みが進められている。 本研究では,コンテキストサンプリングと異常検出を併用した共同学習手法を提案する。
  論文  参考訳（メタデータ） (2023-04-15T02:28:58Z)
• ML-BPM: Multi-teacher Learning with Bidirectional Photometric Mixing for Open Compound Domain Adaptation in Semantic Segmentation [78.19743899703052]
  オープン化合物ドメイン適応(OCDA)は、ターゲットドメインを複数の未知の同質体の化合物とみなしている。 目的とするサブドメインに適応するために,双方向光度ミキシングを用いたマルチテキサフレームワークを提案する。 適応蒸留を行い、学生モデルを学習し、整合性正規化を適用して生徒の一般化を改善する。
  論文  参考訳（メタデータ） (2022-07-19T03:30:48Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Conditional Coupled Generative Adversarial Networks for Zero-Shot Domain Adaptation [31.334196673143257]
  あるドメインでトレーニングされた機械学習モデルは、ドメインシフトが存在するため、他のドメインではうまく機能しない。 本研究では,CoGANを条件付きモデルに拡張することにより,条件付き生成逆数ネットワーク(CoCoGAN)を提案する。 提案したCoCoGANは,2つの異なるタスク,すなわち関連タスク (RT) と非関連タスク (IRT) で二重ドメインサンプルの連成分布を捉えることができる。
  論文  参考訳（メタデータ） (2020-09-11T04:36:42Z)
• Contradistinguisher: A Vapnik's Imperative to Unsupervised Domain Adaptation [7.538482310185133]
  本研究では,コントラスト特徴を学習するContradistinguisherと呼ばれるモデルを提案する。 Office-31とVisDA-2017における最先端のデータセットを、シングルソースとマルチソースの両方で実現しています。
  論文  参考訳（メタデータ） (2020-05-25T19:54:38Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)
• Multi-Source Domain Adaptation for Text Classification via DistanceNet-Bandits [101.68525259222164]
  本研究では,NLPタスクのコンテキストにおいて,サンプル推定に基づく領域間の相違を特徴付ける様々な距離ベース尺度について検討する。 タスクの損失関数と協調して最小化するために,これらの距離測度を付加的な損失関数として用いるディスタンスネットモデルを開発した。 マルチアーム・バンド・コントローラを用いて複数のソース・ドメインを動的に切り替えるDistanceNet-Banditモデルに拡張する。
  論文  参考訳（メタデータ） (2020-01-13T15:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。