論文の概要: ConTraKG: Contrastive-based Transfer Learning for Visual Object
Recognition using Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2102.08747v1
- Date: Wed, 17 Feb 2021 13:24:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-18 14:52:50.715962
- Title: ConTraKG: Contrastive-based Transfer Learning for Visual Object
Recognition using Knowledge Graphs
- Title(参考訳): ConTraKG:知識グラフを用いた視覚物体認識のためのコントラストベース変換学習
- Authors: Sebastian Monka, Lavdim Halilaj, Stefan Schmid, Achim Rettinger
- Abstract要約: クロスドメイン転送学習を可能にする神経シンボリックアプローチであるConTraKGを提案する。
ネットワークが両方のドメインでトレーニングされる転送学習のセットアップでは、contrakgはソースドメインでテストした場合の精度が21%向上する。
トレーニング対象データのわずか10%で、完全なターゲットデータで訓練されたクロスエントロピーベースのモデルと同じ精度を実現します。
- 参考スコア(独自算出の注目度): 18.802723413435654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning techniques achieve high accuracy in computer vision tasks.
However, their accuracy suffers considerably when they face a domain change,
i.e., as soon as they are used in a domain that differs from their training
domain. For example, a road sign recognition model trained to recognize road
signs in Germany performs poorly in countries with different road sign
standards like China. We propose ConTraKG, a neuro-symbolic approach that
enables cross-domain transfer learning based on prior knowledge about the
domain or context. A knowledge graph serves as a medium for encoding such prior
knowledge, which is then transformed into a dense vector representation via
embedding methods. Using a five-phase training pipeline, we train the deep
neural network to adjust its visual embedding space according to the
domain-invariant embedding space of the knowledge graph based on a contrastive
loss function. This allows the neural network to incorporate training data from
different target domains that are already represented in the knowledge graph.
We conduct a series of empirical evaluations to determine the accuracy of our
approach. The results show that ConTraKG is significantly more accurate than
the conventional approach for dealing with domain changes. In a transfer
learning setup, where the network is trained on both domains, ConTraKG achieves
21% higher accuracy when tested on the source domain and 15% when tested on the
target domain compared to the standard approach. Moreover, with only 10% of the
target data for training, it achieves the same accuracy as the
cross-entropy-based model trained on the full target data.
- Abstract(参考訳): ディープラーニング技術はコンピュータビジョンタスクにおいて高い精度を達成する。
しかし、それらの精度は、ドメインの変更に直面した場合、すなわち、トレーニングドメインとは異なるドメインで使用されるとすぐに著しく低下します。
例えば、ドイツで道路標識を認識するように訓練された道路標識認識モデルは、中国のような道路標識標準の異なる国では性能が悪い。
ドメインやコンテキストに関する事前の知識に基づいて、クロスドメイン転送学習を可能にするニューロシンボリックアプローチであるConTraKGを提案する。
知識グラフは、そのような事前知識を符号化する媒体として機能し、埋め込み手法によって密度の高いベクトル表現に変換される。
5相のトレーニングパイプラインを使用して,ディープニューラルネットワークを訓練し,その視覚埋め込み空間を,コントラスト損失関数に基づいて知識グラフの領域不変埋め込み空間に応じて調整する。
これにより、ニューラルネットワークは、知識グラフにすでに表現されている異なるターゲットドメインからのトレーニングデータを組み込むことができる。
我々は、アプローチの正確性を決定するために、一連の経験的評価を行います。
その結果,ConTraKGは従来のドメイン変更処理手法よりもはるかに精度が高いことがわかった。
ネットワークが両方のドメインでトレーニングされる転送学習セットアップでは、contrakgはソースドメインでテストした場合で21%、ターゲットドメインでテストした場合15%、標準アプローチと比較して精度が21%向上する。
さらに、トレーニング対象データのわずか10%で、完全なターゲットデータで訓練されたクロスエントロピーベースのモデルと同じ精度を実現します。
関連論文リスト
- CDFSL-V: Cross-Domain Few-Shot Learning for Videos [58.37446811360741]
ビデオのアクション認識は、いくつかのラベル付き例でのみ、新しいカテゴリを認識するための効果的なアプローチである。
既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存している。
本稿では,自己教師付き学習とカリキュラム学習を活用した,クロスドメインな数ショットビデオ行動認識手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T19:44:27Z) - Ranking Distance Calibration for Cross-Domain Few-Shot Learning [91.22458739205766]
数ショット学習の最近の進歩は、より現実的なクロスドメイン設定を促進する。
ドメインギャップとソースとターゲットデータセット間のラベル空間の相違により、共有される知識は極めて限られている。
我々は,タスク内の相互k-アネレスト近傍を発見することで,目標距離行列の校正を行う。
論文 参考訳(メタデータ) (2021-12-01T03:36:58Z) - Efficient Variational Graph Autoencoders for Unsupervised Cross-domain
Prerequisite Chains [3.358838755118655]
本稿では,このドメイン間前提連鎖学習タスクを効率的に解くために,DAVGAE(Domain-versaational Variational Graph Autoencoders)を導入する。
我々の新しいモデルは変分グラフオートエンコーダ(VGAE)とドメイン識別器から構成される。
その結果,本モデルは1/10グラフスケールと1/3時間のみを用いて,最近のグラフベースの計算より優れていることがわかった。
論文 参考訳(メタデータ) (2021-09-17T19:07:27Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳(メタデータ) (2021-05-05T11:55:53Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-02-09T03:07:07Z) - Flexible deep transfer learning by separate feature embeddings and
manifold alignment [0.0]
オブジェクト認識は、業界と防衛において重要な存在である。
残念ながら、既存のラベル付きデータセットでトレーニングされたアルゴリズムは、データ分布が一致しないため、直接新しいデータに一般化しない。
本稿では,各領域の特徴抽出を個別に学習することで,この制限を克服する新しいディープラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-22T19:24:44Z) - Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。
目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。
この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
論文 参考訳(メタデータ) (2020-02-26T08:59:40Z) - Domain Adaption for Knowledge Tracing [65.86619804954283]
本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。
まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。
第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
論文 参考訳(メタデータ) (2020-01-14T15:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。