論文の概要: An Information-Geometric Distance on the Space of Tasks

• arxiv url: http://arxiv.org/abs/2011.00613v2
• Date: Thu, 25 Feb 2021 03:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 23:03:00.631996
• Title: An Information-Geometric Distance on the Space of Tasks
• Title（参考訳）: タスク空間における情報幾何学的距離
• Authors: Yansong Gao and Pratik Chaudhari
• Abstract要約: 本稿では,データとラベルの共分散としてモデル化された学習課題間の距離を規定する。 そこで,本研究では,対象タスクのデータに対する残差を反復的に伝達する距離を計算するアルゴリズムを開発した。 様々な画像分類データセットに対して徹底的な実証検証と解析を行い、結合転送距離が微調整の難しさと強く相関していることを示す。
• 参考スコア（独自算出の注目度）: 31.359578768463752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper prescribes a distance between learning tasks modeled as joint distributions on data and labels. Using tools in information geometry, the distance is defined to be the length of the shortest weight trajectory on a Riemannian manifold as a classifier is fitted on an interpolated task. The interpolated task evolves from the source to the target task using an optimal transport formulation. This distance, which we call the "coupled transfer distance" can be compared across different classifier architectures. We develop an algorithm to compute the distance which iteratively transports the marginal on the data of the source task to that of the target task while updating the weights of the classifier to track this evolving data distribution. We develop theory to show that our distance captures the intuitive idea that a good transfer trajectory is the one that keeps the generalization gap small during transfer, in particular at the end on the target task. We perform thorough empirical validation and analysis across diverse image classification datasets to show that the coupled transfer distance correlates strongly with the difficulty of fine-tuning.
• Abstract（参考訳）: 本稿では,データとラベルの共有分布としてモデル化された学習タスク間の距離を規定する。 情報幾何学におけるツールを用いて、分類器を補間タスクに装着するので、その距離はリーマン多様体上の最短重量軌道の長さと定義される。 補間されたタスクは最適なトランスポート形式を用いてソースからターゲットタスクへと進化する。 この距離は「結合移動距離」と呼ばれ、異なる分類器アーキテクチャで比較することができる。 我々は,この進化するデータ分布を追跡するために,分類器の重みを更新しながら,ソースタスクのデータからターゲットタスクのデータへの限界を反復的に輸送する距離を計算するアルゴリズムを開発した。 我々は,移動過程における一般化ギャップを小さく保ちながら,特に目標タスクの終端において,移動軌道がよいという直感的な考え方を捉えていることを示す理論を開発する。 多様な画像分類データセットにまたがる徹底的な検証と分析を行い,結合した転送距離と微調整の難しさが強く相関することを示す。

関連論文リスト

• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• Geometrically Aligned Transfer Encoder for Inductive Transfer in Regression Tasks [5.038936775643437]
  微分幾何学に基づく新しい移動法,すなわち幾何学的配向変換(GATE)を提案する。 すべての任意の点が重なり合う領域の局所平坦な座標に写像されることを保証するために、タスクのペア間の適切な微分同相性を見つけ、ソースからターゲットデータへの知識の伝達を可能にする。 GATEは従来の手法より優れ、様々な分子グラフデータセットの潜伏空間と外挿領域の両方で安定した振る舞いを示す。
  論文  参考訳（メタデータ） (2023-10-10T07:11:25Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation [46.103426976842336]
  強化学習(CRL)は、簡単なタスクから始まり、徐々に難しいタスクへと学習する一連のタスクを作成することを目的としている。 本研究では、ソース(補助的)とターゲットタスク分布の間のカリキュラムとしてCRLをフレーミングするという考え方に焦点をあてる。 半教師付き学習における段階的ドメイン適応の洞察に触発されて、CRLのタスク分散シフトを小さなシフトに分解することで、自然なカリキュラムを作成する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:33Z)
• InfoOT: Information Maximizing Optimal Transport [58.72713603244467]
  InfoOTは最適な輸送の情報理論の拡張である。 幾何学的距離を最小化しながら、ドメイン間の相互情報を最大化する。 この定式化は、外れ値に対して堅牢な新しい射影法をもたらし、目に見えないサンプルに一般化する。
  論文  参考訳（メタデータ） (2022-10-06T18:55:41Z)
• Wasserstein Task Embedding for Measuring Task Similarities [14.095478018850374]
  異なるタスク間の類似度を測定することは、幅広い機械学習問題において重要である。 最適輸送理論を活用し、教師付き分類のための新しいタスク埋め込みを定義する。 提案手法の組込みは, 関連する手法と比較して, タスクの比較を著しく高速化することを示した。
  論文  参考訳（メタデータ） (2022-08-24T18:11:04Z)
• Ranking Distance Calibration for Cross-Domain Few-Shot Learning [91.22458739205766]
  数ショット学習の最近の進歩は、より現実的なクロスドメイン設定を促進する。 ドメインギャップとソースとターゲットデータセット間のラベル空間の相違により、共有される知識は極めて限られている。 我々は,タスク内の相互k-アネレスト近傍を発見することで,目標距離行列の校正を行う。
  論文  参考訳（メタデータ） (2021-12-01T03:36:58Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)
• Geometric Dataset Distances via Optimal Transport [15.153110906331733]
  本稿では, (i) モデルに依存しない, (ii) トレーニングを伴わない, (iii) ラベル集合が完全に不連結であり, (iv) 理論的な足場が固い場合でも, データセットを比較できる,という,データセット間の距離の代替概念を提案する。 この距離は最適な輸送に依存しており、リッチな幾何学的認識、解釈可能な対応およびよく理解された性質を提供する。 以上の結果から,この新たな距離は,データセットの有意義な比較を提供し,様々な実験環境やデータセット間での伝達学習困難度と相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2020-02-07T17:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。