論文の概要: Soft Task-Aware Routing of Experts for Equivariant Representation Learning

• arxiv url: http://arxiv.org/abs/2510.27222v1
• Date: Fri, 31 Oct 2025 06:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.006538
• Title: Soft Task-Aware Routing of Experts for Equivariant Representation Learning
• Title（参考訳）: 等価表現学習のためのエキスパートのソフトタスクアウェアルーティング
• Authors: Jaebyeong Jeon, Hyeonseo Jang, Jy-yong Sohn, Kibok Lee,
• Abstract要約: 等変表現学習は、表現空間における入力変換によって引き起こされる変動を捉えることを目的としている。 不変表現学習は、そのような変換を無視して意味情報を符号化する。 我々は、プロジェクションヘッドを専門家としてモデル化するルーティング戦略である、Soft Task-Aware Routing (STAR)を紹介した。
• 参考スコア（独自算出の注目度）: 9.358653432067298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equivariant representation learning aims to capture variations induced by input transformations in the representation space, whereas invariant representation learning encodes semantic information by disregarding such transformations. Recent studies have shown that jointly learning both types of representations is often beneficial for downstream tasks, typically by employing separate projection heads. However, this design overlooks information shared between invariant and equivariant learning, which leads to redundant feature learning and inefficient use of model capacity. To address this, we introduce Soft Task-Aware Routing (STAR), a routing strategy for projection heads that models them as experts. STAR induces the experts to specialize in capturing either shared or task-specific information, thereby reducing redundant feature learning. We validate this effect by observing lower canonical correlations between invariant and equivariant embeddings. Experimental results show consistent improvements across diverse transfer learning tasks. The code is available at https://github.com/YonseiML/star.
• Abstract（参考訳）: 等変表現学習は、表現空間における入力変換によって引き起こされる変動を捉えることを目的としており、一方、不変表現学習はそのような変換を無視して意味情報を符号化する。 近年の研究では、両タイプの表現を共同で学習することは、通常、別々の投影ヘッドを用いて、下流のタスクに有用であることが示されている。 しかし、この設計は不変学習と同変学習の間で共有される情報を見落とし、冗長な特徴学習とモデルキャパシティの非効率利用につながる。 これを解決するために,プロジェクションヘッドを専門家としてモデル化するルーティング戦略であるSoft Task-Aware Routing(STAR)を導入する。 STARは専門家に、共有情報またはタスク固有の情報をキャプチャする専門知識を与え、冗長な特徴学習を減らす。 この効果は、不変と同変の埋め込みの間の低次正準相関を観測することによって検証する。 実験結果から,多種多様な伝達学習課題において一貫した改善が得られた。 コードはhttps://github.com/YonseiML/star.comで公開されている。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• Interpreting Equivariant Representations [4.738231680800414]
  本稿では,同変モデルによる帰納バイアスも潜在表現を用いて考慮する必要があることを示す。 インダクティブバイアスを考慮しないと下流タスクのパフォーマンスが低下することを示す。
  論文  参考訳（メタデータ） (2024-01-23T09:43:30Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• CIPER: Combining Invariant and Equivariant Representations Using Contrastive and Predictive Learning [6.117084972237769]
  比較不変性と予測同変表現学習(CIPER)を導入する。 CIPERは、1つの共有エンコーダとエンコーダの上の2つの異なる出力ヘッドを用いて、不変および同変学習目的を含む。 我々は静的な画像タスクと時間拡張された画像データセットについて評価する。
  論文  参考訳（メタデータ） (2023-02-05T07:50:46Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
  自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。 コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-11-22T18:16:35Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Improving Transformation Invariance in Contrastive Representation Learning [31.223892428863238]
  本稿では、新しい正規化器を用いて変換下で表現がどのように変化するかを制御するコントラスト学習のための学習目標を提案する。 第二に、元の入力の複数の変換からのエンコーディングを結合した機能平均化アプローチを導入することにより、テスト時間表現の生成方法を変更することを提案する。 第三に、複数の下流タスクを持つ微分可能生成プロセスの文脈において、私たちのアイデアを探求するために、新しいSpirographデータセットを導入します。
  論文  参考訳（メタデータ） (2020-10-19T13:49:29Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。