論文の概要: Leveraging Self-Supervised Vision Transformers for Neural Transfer
Function Design
- arxiv url: http://arxiv.org/abs/2309.01408v1
- Date: Mon, 4 Sep 2023 07:29:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 19:32:44.829693
- Title: Leveraging Self-Supervised Vision Transformers for Neural Transfer
Function Design
- Title(参考訳): 神経伝達関数設計のための自己監督型視覚変換器の活用
- Authors: Dominik Engel, Leon Sick, Timo Ropinski
- Abstract要約: 本稿では,事前学習した視覚変換器の特徴抽出機能を活用することで,ボリュームレンダリングのための転送関数を定義する手法を提案する。
提案手法では,モデルのトレーニングを必要とせず,高速な推論が可能であり,ボリュームデータの対話的な探索が可能となる。
- 参考スコア(独自算出の注目度): 12.612923807422899
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In volume rendering, transfer functions are used to classify structures of
interest, and to assign optical properties such as color and opacity. They are
commonly defined as 1D or 2D functions that map simple features to these
optical properties. As the process of designing a transfer function is
typically tedious and unintuitive, several approaches have been proposed for
their interactive specification. In this paper, we present a novel method to
define transfer functions for volume rendering by leveraging the feature
extraction capabilities of self-supervised pre-trained vision transformers. To
design a transfer function, users simply select the structures of interest in a
slice viewer, and our method automatically selects similar structures based on
the high-level features extracted by the neural network. Contrary to previous
learning-based transfer function approaches, our method does not require
training of models and allows for quick inference, enabling an interactive
exploration of the volume data. Our approach reduces the amount of necessary
annotations by interactively informing the user about the current
classification, so they can focus on annotating the structures of interest that
still require annotation. In practice, this allows users to design transfer
functions within seconds, instead of minutes. We compare our method to existing
learning-based approaches in terms of annotation and compute time, as well as
with respect to segmentation accuracy. Our accompanying video showcases the
interactivity and effectiveness of our method.
- Abstract(参考訳): ボリュームレンダリングでは、転送関数は興味のある構造を分類し、色や不透明度などの光学特性を割り当てるために用いられる。
これらは一般的に、これらの光学特性に単純な特徴をマッピングする 1D あるいは 2D 関数として定義される。
転送関数を設計するプロセスは通常退屈で直感的であるため、インタラクティブな仕様のためにいくつかのアプローチが提案されている。
本稿では, 自己教師付き視覚変換器の特徴抽出機能を活用し, ボリュームレンダリングのための伝達関数を定義する新しい手法を提案する。
転送関数を設計するために,スライスビューアの関心構造をユーザが簡単に選択し,ニューラルネットワークが抽出した高次特徴に基づいて,類似した構造を自動的に選択する。
従来の学習に基づく伝達関数アプローチとは対照的に,本手法はモデルの訓練を必要とせず,高速な推論が可能であり,ボリュームデータの対話的な探索を可能にする。
提案手法は,ユーザに対して現在の分類について対話的に通知することで,必要なアノテーションの量を削減する。
実際には、ユーザーは数分ではなく数秒で転送機能を設計できる。
本手法を既存の学習ベースアプローチとアノテーションと計算時間の観点から比較し,セグメンテーション精度について検討した。
提案手法の対話性と有効性を示す映像を提示する。
関連論文リスト
- On the Effectiveness of LayerNorm Tuning for Continual Learning in
Vision Transformers [47.77328392236625]
最新のリハーサルなし連続学習手法は、視覚変換器の特異性を利用してタスク固有のプロンプトを学習する。
そこで、まずタスク固有のパラメータを最適化し、次に推論時間の同じ選択手順で分類器を訓練する。
提案手法は, 計算コストを抑えながら, より優れた結果が得られるか, あるいは, 技術水準に匹敵する結果が得られる。
論文 参考訳(メタデータ) (2023-08-18T15:11:16Z) - Discovering Object-Centric Generalized Value Functions From Pixels [17.10287710842919]
本研究では,対象物から意味のある特徴を発見し,時間的コヒーレントな「探索」関数に翻訳する手法を提案する。
また,探索された一般値関数を解析し,学習された表現が解釈可能であるだけでなく,高速な適応を容易にするタスク間で不変なオブジェクトを中心にしていることを示す。
論文 参考訳(メタデータ) (2023-04-27T00:34:24Z) - Semantic Prompt for Few-Shot Image Recognition [76.68959583129335]
本稿では,数ショット学習のための新しいセマンティック・プロンプト(SP)手法を提案する。
提案手法は,1ショットの学習精度を平均3.67%向上させることにより,有望な結果が得られる。
論文 参考訳(メタデータ) (2023-03-24T16:32:19Z) - Visual Query Tuning: Towards Effective Usage of Intermediate
Representations for Parameter and Memory Efficient Transfer Learning [19.254454866466187]
視覚変換器の中間機能を集約する視覚クエリチューニング(VQT)を提案する。
VQTは中間機能をそのままに保ち、それらを組み合わせることしか学ばないため、トレーニングではメモリ効率がよい。
VQTは、トランスファーラーニングに中間機能を利用する最先端のアプローチを一貫して超越している。
論文 参考訳(メタデータ) (2022-12-06T18:39:45Z) - Communication-Efficient and Privacy-Preserving Feature-based Federated
Transfer Learning [11.758703301702012]
フェデレーション学習は、クライアントのプライバシを保存することで、関心が高まりつつある。
無線帯域が限られているため、無線リンクによるフェデレート学習の通信効率が重要となる。
上りペイロードを5桁以上削減する革新的な手法として,特徴に基づくフェデレーション・トランスファー・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-09-12T16:48:52Z) - SIM-Trans: Structure Information Modeling Transformer for Fine-grained
Visual Categorization [59.732036564862796]
本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。
提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。
実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
論文 参考訳(メタデータ) (2022-08-31T03:00:07Z) - Stochastic Layers in Vision Transformers [85.38733795180497]
視覚変換器の完全な層を導入し,性能を著しく低下させることなく実現した。
この追加により、視覚機能の堅牢性が向上し、プライバシーが強化される。
私たちの機能は3つの異なるアプリケーション、すなわち、敵の堅牢性、ネットワークキャリブレーション、機能プライバシに使用しています。
論文 参考訳(メタデータ) (2021-12-30T16:07:59Z) - Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。
我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。
提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文 参考訳(メタデータ) (2021-10-05T15:39:11Z) - Aligning Pretraining for Detection via Object-Level Contrastive Learning [57.845286545603415]
画像レベルのコントラスト表現学習は、伝達学習の汎用モデルとして非常に有効であることが証明されている。
我々は、これは準最適である可能性があり、従って、自己教師付きプレテキストタスクと下流タスクのアライメントを促進する設計原則を提唱する。
Selective Object Contrastive Learning (SoCo) と呼ばれる本手法は,COCO検出における伝達性能の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-04T17:59:52Z) - Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot
Learning [21.89909688056478]
トレーニング中に推論ネットワークを用いて生成ネットワークを増強する2段階のジョイントアイデアを提案する。
これにより、ビジュアルドメインとセマンティックドメイン間の効果的な知識伝達のための強力な相互モーダル相互作用が提供される。
提案手法は,4つのベンチマークデータセットに対して,いくつかの最先端手法に対して評価し,その性能を示す。
論文 参考訳(メタデータ) (2020-07-15T15:34:09Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。