論文の概要: GULP: a prediction-based metric between representations

• arxiv url: http://arxiv.org/abs/2210.06545v1
• Date: Wed, 12 Oct 2022 19:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 16:42:05.187835
• Title: GULP: a prediction-based metric between representations
• Title（参考訳）: GULP:表現間の予測に基づく計量
• Authors: Enric Boix-Adsera, Hannah Lawrence, George Stepaniants, Philippe Rigollet
• Abstract要約: 本稿では,下流予測タスクによって動機付けられた表現間の距離測定のファミリであるGULPを紹介する。 構成により、GULPは2つの表現間の予測性能の差を均一に制御する。 我々は、GULPがアーキテクチャファミリを正しく区別し、トレーニングの過程で収束し、下流線形タスクにおける一般化性能をキャプチャすることを示した。
• 参考スコア（独自算出の注目度）: 9.686474898346392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Comparing the representations learned by different neural networks has recently emerged as a key tool to understand various architectures and ultimately optimize them. In this work, we introduce GULP, a family of distance measures between representations that is explicitly motivated by downstream predictive tasks. By construction, GULP provides uniform control over the difference in prediction performance between two representations, with respect to regularized linear prediction tasks. Moreover, it satisfies several desirable structural properties, such as the triangle inequality and invariance under orthogonal transformations, and thus lends itself to data embedding and visualization. We extensively evaluate GULP relative to other methods, and demonstrate that it correctly differentiates between architecture families, converges over the course of training, and captures generalization performance on downstream linear tasks.
• Abstract（参考訳）: さまざまなニューラルネットワークが学んだ表現を比較することは、さまざまなアーキテクチャを理解し、最終的に最適化するための重要なツールとして最近登場した。 本研究は,下流予測タスクをモチベーションとした表現間の距離測定系であるGULPを紹介する。 構成により、GULPは正規化線形予測タスクに対して、2つの表現間の予測性能の差を均一に制御する。 さらに、三角不等式や直交変換による不変性など、いくつかの望ましい構造的性質を満たすため、データの埋め込みや可視化に有用である。 我々はGULPを他の手法と比較して広範囲に評価し、アーキテクチャファミリを正しく区別し、トレーニングの過程で収束し、下流線形タスクにおける一般化性能を捉えることを示した。

関連論文リスト

• Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
  最適公正表現はいくつかの有用な構造特性を持つことを示す。 そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
  論文  参考訳（メタデータ） (2024-09-26T08:46:48Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
  異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。 我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。 我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-02T13:55:38Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Metric Distribution to Vector: Constructing Data Representation via Broad-Scale Discrepancies [15.40538348604094]
  本稿では,各データに対するベクトル表現に分布特性を抽出するために, $mathbfMetricDistribution2vec$ という新しい埋め込み方式を提案する。 本研究では,広範囲な実世界構造グラフデータセット上での教師付き予測タスクにおける表現法の適用と有効性を示す。
  論文  参考訳（メタデータ） (2022-10-02T03:18:30Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Generating Sparse Counterfactual Explanations For Multivariate Time Series [0.5161531917413706]
  多変量時系列に対するSPARse Counterfactual Explanationsを生成するGANアーキテクチャを提案する。 提案手法は, トラジェクトリの類似性, 疎性, 滑らか性の観点から, 対実損失関数を正規化する。 我々は,実世界の人間の動作データセットと合成時系列解釈可能性ベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-06-02T08:47:06Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Similarity of Neural Networks with Gradients [8.804507286438781]
  本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。 提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
  論文  参考訳（メタデータ） (2020-03-25T17:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。