論文の概要: Platonic Task Arithmetic

• arxiv url: http://arxiv.org/abs/2610.00929v1
• Date: Thu, 01 Oct 2026 02:05:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.847672
• Title: Platonic Task Arithmetic
• Title（参考訳）: Platonic Task Arithmetic
• Abstract要約: タスク知識が異種モデル間で伝達され、構成されることを示す。 6つのモデルファミリ、8つの分類タスク、および音声テキスト設定による実験は、タスク知識が異種モデル間で伝達され、構成されることを示す。
• 参考スコア（独自算出の注目度）: 4.6894180050630005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Models specialized for the same task converge to similar behavior, yet the parameter updates that produce it share no common coordinate system, so weight-space task arithmetic stays confined to a single model and cannot cross architectures without a structural correspondence. Drawing on Plato's allegory of the cave, we hypothesize that these model-specific updates are shadows of one shared, model-agnostic object, which we call the platonic task vector. To make it operational for models that pair an image or audio encoder with a text encoder, we introduce Universal Task Descriptors: matrices whose shape is independent of architecture and embedding dimension, which record a task's functional effect and support addition and negation as matrix operations. Transferring a descriptor into a target means editing the target until it reproduces the descriptor on the task's unlabeled probe images and class-name prompts, requiring no per-image labels. We realize this edit in two ways. First, the descriptor factorizes into a shift field on image embeddings, so a single least-squares solve yields a linear operator that folds into the target's last layer as a weight edit; by linearity, a bank of such operators admits any composition at any strength as a signed sum. Second, a low-rank adapter trained on the same objective reaches every layer and fits compositions jointly, at the cost of one optimization per edit. Heterogeneous models share this object only partially, with a model-specific residual comparable in norm to the shared component, yet cross-model transfer still retains 74-80 percent of the gain of the target's own descriptors. Experiments across six model families, eight classification tasks, and an audio-text setting show that task knowledge transfers and composes across heterogeneous models under both realizations.
• Abstract（参考訳）: 同じタスクに特化したモデルは同様の振る舞いに収束するが、それを生成するパラメータの更新は共通座標系を共有しないため、重み空間のタスク演算は単一のモデルに限られており、構造的な対応なしにアーキテクチャを横断することはできない。 プラトンの洞窟論に基づいて、これらのモデル固有の更新は1つの共有されたモデルに依存しない物体の影であり、それがプラトニック・タスク・ベクター(platonic task vector)と呼ばれる。 画像やオーディオエンコーダをテキストエンコーダと組み合わせたモデルで動作させるため,Universal Task Descriptors: 形状がアーキテクチャと埋め込み次元に依存しない行列を導入し,タスクの機能的効果を記録し,追加および否定を行列演算としてサポートする。 ターゲットにディスクリプタを転送することは、タスクの未ラベルのプローブイメージやクラス名プロンプトのディスクリプタを再生するまでターゲットを編集することを意味する。 この編集には2つの方法がある。 まず、デクリプタは画像埋め込み上のシフト場に分解されるので、最小二乗の解は、重み付けとしてターゲットの最終層に折り畳む線形作用素を生成する。 第二に、同じ目的にトレーニングされた低ランクのアダプタがすべての層に到達し、編集毎に1つの最適化を犠牲にして、コンポジションを共同で適合させる。 不均一モデルはこのオブジェクトを部分的にしか共有しないが、モデル固有の残差は共有コンポーネントに匹敵するが、クロスモデル転送はターゲット自身のディスクリプタの利益の74-80%を維持している。 6つのモデルファミリ、8つの分類タスク、およびオーディオテキスト設定による実験は、タスク知識が両方の実現の下で異種モデル間で伝達され、構成されることを示す。

関連論文リスト

• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• Gradient-Sign Masking for Task Vector Transport Across Pre-Trained Models [25.83401080149413]
  転送を成功させる鍵は、新しいモデルの勾配の符号構造にあることを示す。 理想的な勾配符号構造を近似する新しい手法であるGradFixを提案する。 視覚と言語ベンチマークにおいて大きなパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-10-07T13:30:25Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• Decomposing and Editing Predictions by Modeling Model Computation [75.37535202884463]
  コンポーネントモデリングというタスクを導入します。 コンポーネントモデリングの目標は、MLモデルの予測をコンポーネントの観点から分解することだ。 コンポーネント属性を推定するスケーラブルなアルゴリズムであるCOARを提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:28:08Z)
• ObjectStitch: Generative Object Compositing [43.206123360578665]
  本研究では,条件付き拡散モデルを用いたオブジェクト合成のための自己教師型フレームワークを提案する。 我々のフレームワークは、手動ラベリングを必要とせず、生成したオブジェクトの視点、幾何学、色、影を変換することができる。 本手法は, 実世界の様々な画像に対するユーザ研究において, 合成結果画像の写実性と忠実性の両方において, 関連ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-12-02T02:15:13Z)
• A Generalist Framework for Panoptic Segmentation of Images and Videos [61.61453194912186]
  我々は,タスクの帰納バイアスに頼ることなく,離散的なデータ生成問題としてパノプティクスセグメンテーションを定式化する。 単純な構造と一般的な損失関数を持つパノスコープマスクをモデル化するための拡散モデルを提案する。 本手法は,動画を(ストリーミング環境で)モデル化し,オブジェクトのインスタンスを自動的に追跡することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-12T16:18:25Z)
• EdiBERT, a generative model for image editing [12.605607949417033]
  EdiBERTは、ベクトル量子化オートエンコーダによって構築された離散潜在空間で訓練された双方向変換器である。 結果のモデルが,多種多様なタスクにおける最先端のパフォーマンスと一致することを示す。
  論文  参考訳（メタデータ） (2021-11-30T10:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。