Fugu-MT 論文翻訳(概要): Cross-Modal Forgetting and Transfer in Unified Multimodal Post-Training

論文の概要: Cross-Modal Forgetting and Transfer in Unified Multimodal Post-Training

arxiv url: http://arxiv.org/abs/2610.23918v1
Date: Mon, 05 Oct 2026 08:43:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 15:40:19.932961
Title: Cross-Modal Forgetting and Transfer in Unified Multimodal Post-Training
Title（参考訳）: 統一マルチモーダルポストトライニングにおけるクロスモーダルフォーミングとトランスファー
Abstract要約: 統一マルチモーダルモデルは、画像に関する質問に答え、また1つの共有重みのセットで画像を生成する。これにより、単一目的のモデルが持たないトレーニング後のリスクが生じる。我々は、Janus-Pro-7B の LoRA 後学習におけるクロスモーダルな忘れ度を計測する。
参考スコア（独自算出の注目度）: 10.063876435652261
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Unified multimodal models answer questions about images and also generate images with one shared set of weights. This creates a post-training risk that single-purpose models do not have: fine-tuning one capability can damage another that works in a different modality. We measure this cross-modal forgetting for LoRA post-training of Janus-Pro-7B. Every target is chosen by how poorly the base model already handles it, from a poetic register to a language it barely speaks, so that retention is tested against a real intervention; we then evaluate the capabilities we never trained, first after a single run and then after chaining three. A single run looks entirely safe: nothing we did not train degrades on four public benchmarks or in free-form English, even when the adapter cuts held-out Welsh perplexity by 76% with a relative weight change under 2%. That safety belongs to the run, not to the recipe. Chaining three runs destroys the capability learned one run earlier and raises general-text perplexity by one to two orders of magnitude above the never-adapted model, on the very measures that stayed flat before. The cause is in the objective, which constrains only the modality being trained and leaves the other head unconstrained: cutting the learning rate to one fifth does not prevent the collapse, while anchoring the other head removes the damage to the capabilities we never trained, at no cost to what is learned. What is learned also stays inside its own modality, with Welsh acquired from text closing only 3% of the English-Welsh gap in image generation.
Abstract（参考訳）: 統一マルチモーダルモデルは、画像に関する質問に答え、また1つの共有重みのセットで画像を生成する。これにより、単一目的のモデルが持たないトレーニング後のリスクが生じる。我々は、Janus-Pro-7B の LoRA 後学習におけるクロスモーダルな忘れ度を計測する。すべてのターゲットは、ベースモデルがすでに処理している言語を、詩的なレジスタからほとんど話さない言語に切り換えることで、実際の介入に対して保持性をテストします。 4つの公開ベンチマークやフリーフォームの英語でデグレードをトレーニングすることはなかったが、たとえアダプタがウェールズの難易度を76%減らし、相対的な重量変化を2%下回ったとしても。その安全性は、レシピではなく実行のものです。チェイン3ランは、以前に学習した能力を破壊し、それまで平らだった測定値に基づいて、一般的なテキストの難易度を、適応しないモデルよりも1～2桁高くする。学習率を5分の1に下げることは、崩壊を防げず、他方の頭をアンカーすることで、訓練を受けなかった能力に対するダメージを、何の費用もかからずに取り除くことができる。ウェールズはテキストから取得した画像生成における英語とウェールズ語のギャップのわずか3%しか閉じていない。

関連論文リスト

Fair Fact-Checking: Closing the Cross-Lingual Gap in LLM Factual Judgement with RoSh [37.08044812250237]
英語はすべてのモデルで他のどの言語よりも優れていると判断され、その差は最小の言語よりも大きい。 3層で閉じた形で計算した残差ストリームの言語ごとのシフトと回転であるRoShを提案する。 Llama-3Bのアラビア語は偶然からほぼ英語のレベルへと変化し、英語で正しく答えられた主張のうち5分の1は翻訳で失われている。
論文参考訳（メタデータ） (2026-09-28T09:08:47Z)
Fine Until Fine-Tuned: Repeated Solutions Make Reasoning Fragile [0.0]
s1のようなレシピは、何千、あるいは少なめの動作するソリューションを何度も示して、小さなデータで推論するようにモデルに教えます。我々はQwen3.5-9B-Baseを、競合数学問題に対する独自の正しい解法で微調整した。繰り返しは、彼らの推論の脆弱さを次のステージに任せることに気付きます。
論文参考訳（メタデータ） (2026-09-27T13:31:05Z)
AnchorRep: Defending LLMs Against Cross-Model Adversarial Transfer via Representation Repulsion [0.1633272850273525]
単一のオープンウェイト LLM に最適化された敵攻撃は、アーキテクチャ的に異なるモデルに転送およびジェイルブレイクすることができる。モデル間移動は内部表現幾何学の共有と整合し、自然な防御対象となる。この結果から, モデル間のロバスト性は, 攻撃固有の訓練を必要とせず, 表現幾何を形作ることで達成できることが示唆された。
論文参考訳（メタデータ） (2026-09-26T13:19:52Z)
An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks [0.0]
次に何が起こるかを測定する再現可能なベンチマークであるMMPIBenchを紹介する。 6つのビジュアルキャリア(OCRテキスト、オーバーレイ、EXIFメタデータ、QRコード、フェイクインターフェース、ハイブリッド)を通じて、一定の攻撃セットを提供する。攻撃は約1%で終了するが、12.8%で試みられ、そのギャップは計画段階でほぼ完全に閉鎖される。
論文参考訳（メタデータ） (2026-09-08T20:00:03Z)
Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
数発の学習がバックドアアタックに対して脆弱であることは明らかです。本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
論文参考訳（メタデータ） (2023-12-31T06:43:36Z)
Exploiting Unlabelled Photos for Stronger Fine-Grained SBIR [103.51937218213774]
本稿では,先行技術の11%をオーバーシュートする強力なベースラインを提示することにより,微細なスケッチベース画像検索(FG-SBIR)の文献化を推し進める。本稿では,写真/スケッチインスタンス間の分離を明示的に実施する標準的な三重項損失の簡単な修正を提案する。 i) スケッチ間でのモダル内トリプルトロスを利用して、同じインスタンスのスケッチを他のインスタンスに近づけます。
論文参考訳（メタデータ） (2023-03-24T03:34:33Z)
Robust Contrastive Language-Image Pre-training against Data Poisoning and Backdoor Attacks [52.26631767748843]
ROCLIPは、ターゲットデータ中毒やバックドア攻撃に対して、マルチモーダル視覚言語モデルを堅牢に学習するための最初の効果的な方法である。 ROCLIPは、比較的大きく多様なランダムキャプションのプールを考慮することにより、有毒な撮像対の関連を効果的に破壊する。実験の結果,ROCLIPは訓練前のCLIPモデルにおいて,最先端のデータ中毒やバックドア攻撃を未然に防ぐことができることがわかった。
論文参考訳（メタデータ） (2023-03-13T04:49:46Z)
Data Poisoning Attacks Against Multimodal Encoders [24.02062380303139]
視覚と言語の両方において多モーダルモデルに対する中毒攻撃について検討する。攻撃を緩和するため,前訓練と後訓練の両方の防御策を提案する。
論文参考訳（メタデータ） (2022-09-30T06:50:08Z)
RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文参考訳（メタデータ） (2022-07-12T19:34:47Z)
How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-12-22T05:04:41Z)
AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge Distillation and Bi-directional Metric Learning [61.8003954296545]
Atention Guided Knowledge Distillation and Bi-directional Metric Learning (AGKD-BML) による新しい対人訓練ベースモデルを提案する。提案したAGKD-BMLモデルは,最先端のアプローチよりも一貫して優れている。
論文参考訳（メタデータ） (2021-08-13T01:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。