論文の概要: Platonic Task Arithmetic

• arxiv url: http://arxiv.org/abs/2610.00929v2
• Date: Fri, 02 Oct 2026 07:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:29.98557
• Title: Platonic Task Arithmetic
• Title（参考訳）: Platonic Task Arithmetic
• Abstract要約: 本稿では,タスクの機能的効果を記録し,追加と否定を通常の行列演算として認めるUniversal Task Descriptorsを紹介する。 我々は、他のモデルからの転送が、ターゲット自身の記述子から得られる利益の74～80%を保持することを示す。 6つのモデルファミリ、8つのタスク、オーディオテキストモデルによる実験は、両方の実現を確認します。
• 参考スコア（独自算出の注目度）: 4.6894180050630005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distinct pre-trained models specialized for the same task converge to closely similar behavior, yet the parameter updates that produce it share no common coordinate system. Weight-space task arithmetic is therefore confined to a single model, and transporting an update between models requires a structural correspondence. Drawing on Plato's allegory of the cave, we hypothesize that these model-specific updates are shadows cast by one shared, model-agnostic object, the platonic task vector. To make it operational across models of different architectures, we introduce Universal Task Descriptors, matrices whose shape is independent of architecture and embedding dimension, which record a task's functional effect and admit addition and negation as ordinary matrix operations, and we transfer a descriptor into a target in two ways. A single least-squares solve returns a linear operator folded into the target's last layer, and a bank of such operators, one per source and task, realizes any composition as a signed sum of its entries. Alternatively, a low-rank adapter of the target's encoder is trained on the same objective at the price of one optimization per edit. Despite a model-specific residual comparable in norm to the shared component, transfer from another model retains 74 to 80 percent of the gain the target's own descriptors attain. Experiments across six model families, eight tasks and audio-text models confirm both realizations.
• Abstract（参考訳）: 同じタスクに特化した特定の事前訓練されたモデルは、よく似た振る舞いに収束するが、それを生成するパラメータの更新は、共通の座標系を共有しない。 したがって、重み空間のタスク算術は単一のモデルに限られており、モデル間で更新を行うには構造的な対応が必要である。 プラトンの洞窟論に基づいて、これらのモデル固有の更新は、共有されたモデルに依存しない1つの物体、プラトニック・タスク・ベクターによる影である、という仮説を立てる。 異なるアーキテクチャのモデル間での運用を実現するため,アーキテクチャや組込み次元に依存しないユニバーサルタスク記述子を導入し,タスクの機能的効果を記録し,通常の行列操作として付加と否定を認めるとともに,2つの方法で記述子をターゲットに転送する。 1つの最小二乗解は、対象の最後の層に折り畳まれた線形作用素を返し、そのような作用素のバンクは、ソースとタスクごとに、そのエントリの符号付き和として任意の合成を実現する。 あるいは、ターゲットのエンコーダの低ランクアダプタを、編集毎に1つの最適化の価格で同じ目的に訓練する。 共有コンポーネントに標準に匹敵するモデル固有の例外にもかかわらず、別のモデルからの転送は、ターゲット自身の記述子が達成した利益の74～80%を保持する。 6つのモデルファミリ、8つのタスク、オーディオテキストモデルによる実験は、両方の実現を確認します。

関連論文リスト

• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• Gradient-Sign Masking for Task Vector Transport Across Pre-Trained Models [25.83401080149413]
  転送を成功させる鍵は、新しいモデルの勾配の符号構造にあることを示す。 理想的な勾配符号構造を近似する新しい手法であるGradFixを提案する。 視覚と言語ベンチマークにおいて大きなパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-10-07T13:30:25Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• Decomposing and Editing Predictions by Modeling Model Computation [75.37535202884463]
  コンポーネントモデリングというタスクを導入します。 コンポーネントモデリングの目標は、MLモデルの予測をコンポーネントの観点から分解することだ。 コンポーネント属性を推定するスケーラブルなアルゴリズムであるCOARを提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:28:08Z)
• ObjectStitch: Generative Object Compositing [43.206123360578665]
  本研究では,条件付き拡散モデルを用いたオブジェクト合成のための自己教師型フレームワークを提案する。 我々のフレームワークは、手動ラベリングを必要とせず、生成したオブジェクトの視点、幾何学、色、影を変換することができる。 本手法は, 実世界の様々な画像に対するユーザ研究において, 合成結果画像の写実性と忠実性の両方において, 関連ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-12-02T02:15:13Z)
• A Generalist Framework for Panoptic Segmentation of Images and Videos [61.61453194912186]
  我々は,タスクの帰納バイアスに頼ることなく,離散的なデータ生成問題としてパノプティクスセグメンテーションを定式化する。 単純な構造と一般的な損失関数を持つパノスコープマスクをモデル化するための拡散モデルを提案する。 本手法は,動画を(ストリーミング環境で)モデル化し,オブジェクトのインスタンスを自動的に追跡することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-12T16:18:25Z)
• EdiBERT, a generative model for image editing [12.605607949417033]
  EdiBERTは、ベクトル量子化オートエンコーダによって構築された離散潜在空間で訓練された双方向変換器である。 結果のモデルが,多種多様なタスクにおける最先端のパフォーマンスと一致することを示す。
  論文  参考訳（メタデータ） (2021-11-30T10:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。