論文の概要: Contextualising Implicit Representations for Semantic Tasks

• arxiv url: http://arxiv.org/abs/2305.13312v1
• Date: Mon, 22 May 2023 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 13:31:46.362553
• Title: Contextualising Implicit Representations for Semantic Tasks
• Title（参考訳）: 意味的課題に対する意図的表現の文脈化
• Authors: Theo W. Costain, Kejie Li, Victor A. Prisacariu
• Abstract要約: 以前の研究では、リコンストラクションタスクにのみ訓練された暗黙の表現が、一般的に意味的なタスクには役に立たないエンコーディングを生成することが示されている。 本稿では,暗黙表現のエンコーディングを文脈化して,下流タスクで使用できるようにする手法を提案する。
• 参考スコア（独自算出の注目度）: 5.453372578880444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior works have demonstrated that implicit representations trained only for reconstruction tasks typically generate encodings that are not useful for semantic tasks. In this work, we propose a method that contextualises the encodings of implicit representations, enabling their use in downstream tasks (e.g. semantic segmentation), without requiring access to the original training data or encoding network. Using an implicit representation trained for a reconstruction task alone, our contextualising module takes an encoding trained for reconstruction only and reveals meaningful semantic information that is hidden in the encodings, without compromising the reconstruction performance. With our proposed module, it becomes possible to pre-train implicit representations on larger datasets, improving their reconstruction performance compared to training on only a smaller labelled dataset, whilst maintaining their segmentation performance on the labelled dataset. Importantly, our method allows for future foundation implicit representation models to be fine-tuned on unseen tasks, regardless of encoder or dataset availability.
• Abstract（参考訳）: 先行研究では、リコンストラクションタスクでのみトレーニングされた暗黙的な表現は、典型的には意味的タスクでは役に立たないエンコーディングを生成することが示されている。 本研究では,暗黙的表現のエンコーディングを文脈化して,本来のトレーニングデータやエンコーディングネットワークを必要とせずに,下流タスク(セマンティックセグメンテーションなど)で使用できるようにする手法を提案する。 再建作業のみで訓練された暗黙の表現を用いて,再構成のみを訓練したエンコーディングを,再構成性能を損なうことなく,エンコーディングに隠された意味的な意味情報を明らかにする。 提案モジュールでは,ラベル付きデータセットのセグメンテーション性能を維持しつつ,ラベル付きデータセットのみのトレーニングに比べて,大きなデータセット上で暗黙的な表現を事前訓練し,再構成性能を向上させることができる。 重要なことは、エンコーダやデータセットの可用性に関わらず、将来の基盤となる暗黙の表現モデルが、目に見えないタスクで微調整できることである。

関連論文リスト

• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation [40.09476732999614]
  マスクの提案モデルは、ゼロショットセマンティックセグメンテーションの性能を大幅に改善した。 トレーニング中にバックグラウンドを埋め込むことは問題であり、結果として得られたモデルが過剰に学習し、正しいラベルではなく、すべての見えないクラスをバックグラウンドクラスとして割り当てる傾向がある。 本稿では,学習中の背景埋め込みの使用を回避し,テキスト埋め込みとマスク提案のセマンティックな関係を類似度スコアのランク付けにより活用する新しいクラス拡張損失を提案する。
  論文  参考訳（メタデータ） (2023-01-18T06:55:02Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• DirectProbe: Studying Representations without Classifiers [21.23284793831221]
  DirectProbeは、タスクのバージョン空間の概念に基づいて表現の幾何学を研究します。 いくつかの言語的タスクと文脈的埋め込みの実験は、訓練された分類器がなくても、DirectProbeは埋め込み空間がラベルの表現方法に光を当てることができることを示している。
  論文  参考訳（メタデータ） (2021-04-13T02:40:26Z)
• Towards Generalising Neural Implicit Representations [15.728196666021665]
  我々は、従来のタスクと並んで、両タスクのニューラル表現のトレーニングはより一般的なエンコーディングを生み出すことができると論じている。 提案手法は,タスクごとに高品質な結果をもたらす機能豊富なエンコーディングを学習する。 またセグメンテーションタスクを再構築し、暗黙の表現コンテキストに対するより代表的な課題を創出する。
  論文  参考訳（メタデータ） (2021-01-29T17:20:22Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。