論文の概要: Task Matrices: Linear Maps for Cross-Model Finetuning Transfer

• arxiv url: http://arxiv.org/abs/2512.14880v1
• Date: Tue, 16 Dec 2025 19:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.775525
• Title: Task Matrices: Linear Maps for Cross-Model Finetuning Transfer
• Title（参考訳）: タスク行列: クロスモデルファインタニング転送のための線形写像
• Authors: Darrin O' Brien, Dhikshith Gajulapalli, Eric Xia,
• Abstract要約: 本研究では,ベースから微細な埋め込み状態への線形変換であるタスク行列の概念を開発する。 視覚とテキストモデルと10種類のデータセットに対して,タスク行列を付加したベースモデルが線形プローブを超越した結果を示す。 本研究は, 既訓練アーキテクチャと微調整アーキテクチャの間に, 層間線形符号化が存在することを検証した。
• 参考スコア（独自算出の注目度）: 4.243926243206826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Results in interpretability suggest that large vision and language models learn implicit linear encodings when models are biased by in-context prompting. However, the existence of similar linear representations in more general adaptation regimes has not yet been demonstrated. In this work, we develop the concept of a task matrix, a linear transformation from a base to finetuned embedding state. We demonstrate that for vision and text models and ten different datasets, a base model augmented with a task matrix achieves results surpassing linear probes, sometimes approaching finetuned levels. Our results validate the existence of cross-layer linear encodings between pretrained and finetuned architectures. Moreover, we show that a data-based approximation for such encodings is both efficient and generalizable to multiple domains. We make our implementation publicly available.
• Abstract（参考訳）: 解釈可能性の結果は、大きな視覚と言語モデルは、コンテキスト内プロンプトによってモデルがバイアスを受けるとき、暗黙の線形符号化を学ぶことを示唆している。 しかし、より一般的な適応系における同様の線形表現の存在は、まだ証明されていない。 本研究では,ベースから微細な埋め込み状態への線形変換であるタスク行列の概念を開発する。 視覚とテキストモデルと10の異なるデータセットに対して,タスク行列を付加したベースモデルが線形プローブを超える結果を得ることを示す。 本研究は, 既訓練アーキテクチャと微調整アーキテクチャの間に, 層間線形符号化が存在することを検証した。 さらに、そのような符号化に対するデータに基づく近似は、複数の領域に対して効率的かつ一般化可能であることを示す。 実装を公開しています。

関連論文リスト

• Neighborhood-Adaptive Generalized Linear Graph Embedding with Latent Pattern Mining [0.0]
  グラフ埋め込みは、ネットワーク分析、ソーシャルネットワークマイニング、レコメンデーションシステム、バイオインフォマティクスといった分野に広く応用されている。 パターンマイニングを基礎としたNGLGE(Neighborhood-Adaptive Generalized Linear Graph Embedding)を提案する。 このモデルでは,周辺に適応的なグラフ学習手法を導入し,本質的なデータ相関を効果的に明らかにする。
  論文  参考訳（メタデータ） (2025-10-07T09:37:29Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Location Sensitive Embedding for Knowledge Graph Reasoning [0.0]
  翻訳距離モデルの主な課題は、グラフ内の「頭部」と「尾」の実体を効果的に区別できないことである。 この問題に対処するため,新しい位置感応型埋め込み法 (LSE) を開発した。 LSEは、リレーショナルなマッピングを使用してヘッダーを革新的に修正し、リレーショナルトランスフォーメーションを単なる翻訳よりもリレーショナルトランスフォーメーションとして概念化する。 より合理化された変種 LSEd も提案され、実際の効率を高めるために変換に対角行列を用いる。
  論文  参考訳（メタデータ） (2023-12-01T22:35:19Z)
• Optimising for Interpretability: Convolutional Dynamic Alignment Networks [108.83345790813445]
  我々は、畳み込み動的アライメントネットワーク(CoDA Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。 彼らの中核となるビルディングブロックは動的アライメントユニット(DAU)であり、タスク関連パターンに合わせて動的に計算された重みベクトルで入力を変換するように最適化されている。 CoDAネットは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
  論文  参考訳（メタデータ） (2021-09-27T12:39:46Z)
• Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
  実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。 我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。 近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
  論文  参考訳（メタデータ） (2021-05-31T16:20:03Z)
• Convolutional Dynamic Alignment Networks for Interpretable Classifications [108.83345790813445]
  我々は、畳み込み動的アライメントネットワーク(CoDA-Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。 コアとなるビルディングブロックは動的アライメントユニット(DAU)で、入力をタスク関連パターンと動的に整合する重みベクトルで線形に変換する。 CoDA-Netsは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
  論文  参考訳（メタデータ） (2021-03-31T18:03:53Z)
• Causality-aware counterfactual confounding adjustment for feature representations learned by deep models [14.554818659491644]
  因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
  論文  参考訳（メタデータ） (2020-04-20T17:37:36Z)
• BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders [9.51828574518325]
  変分オートエンコーダ(VAE)は、非線形次元削減のための柔軟でスケーラブルなフレームワークを提供する。 崩壊した変分推論スキームがBasisVAEのスケーラブルかつ効率的な推論にどのように寄与するかを示す。
  論文  参考訳（メタデータ） (2020-03-06T23:10:52Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。