論文の概要: Loss-Invariant Projections as Passive Probes of Learned Representations

• arxiv url: http://arxiv.org/abs/2610.06195v1
• Date: Mon, 05 Oct 2026 12:10:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 17:59:03.9012
• Title: Loss-Invariant Projections as Passive Probes of Learned Representations
• Title（参考訳）: 学習表現のパッシブプローブとしての損失不変射影
• Abstract要約: ニューラルネットワークにおける学習された特徴表現は、最終タスク出力で直接使用される構造以上の構造を含むことが多い。 我々は、この構造を、トレーニング中に進化するときに、固定された、訓練されていない、プロパティに依存しないプロジェクションを表現に適用する$textitpassive probes$を用いて研究する。
• 参考スコア（独自算出の注目度）: 4.3658636589521675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned feature representations in neural networks often contain structure beyond that directly used by the final task output. We study this structure using $\textit{passive probes}$ that apply fixed, untrained, property-independent projections to representations as they evolve during training. We motivate this approach through the task of prediction on $S^2$ where equivalent vector and Hermitian parameterizations reveal an additional loss-invariant trace coordinate. This motivates a general construction in which fixed random projections serve as observers of learned features. Because the observer is loss-invariant and independent of the property being studied, changes in accessibility reflect changes in the representation relative to the fixed observer rather than adaptation of the observer itself. We show that ensembles of passive probes can directly reflect task-relevant information such as target alignment. Under our constructions, the accessibility of eventual difficulty evolves differently across tasks. It increases during training in the regression tasks of surface-normal estimation and image inpainting but remains near its initial level in image classification. Comparisons with learned linear probes further show that recoverability and passive accessibility can evolve differently during training. Together, these results show how passive probes can separately characterize changes in representation geometry and the accessibility of eventual task difficulty.
• Abstract（参考訳）: ニューラルネットワークにおける学習された特徴表現は、最終タスク出力で直接使用される構造以上の構造を含むことが多い。 この構造を$\textit{passive probes}$を用いて研究し、トレーニング中に修正された、訓練されていない、プロパティに依存しないプロジェクションを表現に適用する。 我々は、等価ベクトルとエルミートパラメータ化が追加の損失不変トレース座標を示すような$S^2$の予測タスクを通じてこのアプローチを動機付けている。 このことは、固定されたランダム射影が学習された特徴のオブザーバとして機能する一般的な構成を動機付けている。 オブザーバは損失不変であり、研究中のプロパティとは独立であるため、アクセシビリティの変化はオブザーバ自体の適応よりも固定オブザーバに対する表現の変化を反映する。 本研究では,受動プローブのアンサンブルが,目標アライメントなどのタスク関連情報を直接反映できることを示す。 我々の構成では、最終的な困難さのアクセシビリティはタスクによって異なる進化を遂げる。 表面正規推定および画像インペイントの回帰タスクにおいて、トレーニング中に増大するが、画像分類における初期レベルに近づいたままである。 学習された線形プローブとの比較により、回復可能性と受動的アクセシビリティはトレーニング中に異なる進化をすることができることが示された。 これらの結果は、受動的プローブが表現幾何学の変化と最終的なタスク難易度を別々に特徴付けることができることを示す。

関連論文リスト

• A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support [18.43106502366609]
  対実的な説明は、モデルの予測を変える入力に意味論的に意味のある小さな変化を求める。 同様の予測性能を持つモデルは、そのような変化が達成可能かどうかで大きく異なる可能性がある。
  論文  参考訳（メタデータ） (2026-06-02T20:55:29Z)
• Multi-task learning on partially labeled datasets via invariant/equivariant semi-supervised learning [51.616045590947344]
  一般的なFixMatch法を、不変半教師付き学習とその同変拡張FixMatchに適用する。 コンピュータビジョンにおけるオブジェクト検出とセマンティックセグメンテーションタスクのコンテキストにおいて,Cityscapes と BDD100K データセットの性能を評価する。
  論文  参考訳（メタデータ） (2026-05-17T19:43:05Z)
• Soft Task-Aware Routing of Experts for Equivariant Representation Learning [9.358653432067298]
  等変表現学習は、表現空間における入力変換によって引き起こされる変動を捉えることを目的としている。 不変表現学習は、そのような変換を無視して意味情報を符号化する。 我々は、プロジェクションヘッドを専門家としてモデル化するルーティング戦略である、Soft Task-Aware Routing (STAR)を紹介した。
  論文  参考訳（メタデータ） (2025-10-31T06:34:30Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• CIPER: Combining Invariant and Equivariant Representations Using Contrastive and Predictive Learning [6.117084972237769]
  比較不変性と予測同変表現学習(CIPER)を導入する。 CIPERは、1つの共有エンコーダとエンコーダの上の2つの異なる出力ヘッドを用いて、不変および同変学習目的を含む。 我々は静的な画像タスクと時間拡張された画像データセットについて評価する。
  論文  参考訳（メタデータ） (2023-02-05T07:50:46Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
  解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。 独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。 本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
  論文  参考訳（メタデータ） (2021-04-07T11:22:02Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。