論文の概要: DeepSI: Interactive Deep Learning for Semantic Interaction
- arxiv url: http://arxiv.org/abs/2305.18357v1
- Date: Fri, 26 May 2023 18:05:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 22:10:36.780263
- Title: DeepSI: Interactive Deep Learning for Semantic Interaction
- Title(参考訳): DeepSI: セマンティックインタラクションのための対話型ディープラーニング
- Authors: Yali Bian, Chris North
- Abstract要約: 本稿では,深層学習をループ内対話型感触パイプラインに統合するフレームワークを提案する。
ディープラーニングは生データから意味のある表現を抽出し、意味的相互作用推論を改善する。
意味的相互作用を利用して深層学習表現を微調整し、意味的相互作用推論を改善する。
- 参考スコア(独自算出の注目度): 5.188825486231326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we design novel interactive deep learning methods to improve
semantic interactions in visual analytics applications. The ability of semantic
interaction to infer analysts' precise intents during sensemaking is dependent
on the quality of the underlying data representation. We propose the
$\text{DeepSI}_{\text{finetune}}$ framework that integrates deep learning into
the human-in-the-loop interactive sensemaking pipeline, with two important
properties. First, deep learning extracts meaningful representations from raw
data, which improves semantic interaction inference. Second, semantic
interactions are exploited to fine-tune the deep learning representations,
which then further improves semantic interaction inference. This feedback loop
between human interaction and deep learning enables efficient learning of user-
and task-specific representations. To evaluate the advantage of embedding the
deep learning within the semantic interaction loop, we compare
$\text{DeepSI}_{\text{finetune}}$ against a state-of-the-art but more basic use
of deep learning as only a feature extractor pre-processed outside of the
interactive loop. Results of two complementary studies, a human-centered
qualitative case study and an algorithm-centered simulation-based quantitative
experiment, show that $\text{DeepSI}_{\text{finetune}}$ more accurately
captures users' complex mental models with fewer interactions.
- Abstract(参考訳): 本稿では,視覚分析アプリケーションにおける意味的相互作用を改善するための対話型深層学習手法を設計する。
意味的相互作用によって分析者の正確な意図を推測する能力は、基礎となるデータ表現の品質に依存する。
そこで我々は,深層学習を人間-ループ間対話型センスメイキングパイプラインに統合する,$\text{DeepSI}_{\text{finetune}}$フレームワークを提案する。
まず、ディープラーニングは生データから意味のある表現を抽出し、意味的相互作用推論を改善する。
第二に、意味的相互作用を利用して深層学習表現を微調整し、さらに意味的相互作用推論を改善する。
このヒューマンインタラクションとディープラーニング間のフィードバックループによって、ユーザとタスク固有の表現の効率的な学習が可能になる。
セマンティック・インタラクション・ループにディープラーニングを埋め込むことの利点を評価するために、$\text{DeepSI}_{\text{finetune}}$をインタラクティブ・ループの外で事前処理された機能抽出器として、最先端だが基本的なディープラーニングの利用と比較する。
人間中心の質的ケーススタディとアルゴリズム中心のシミュレーションに基づく定量的実験の2つの相補的な研究の結果、$\text{deepsi}_{\text{finetune}}$はより少ない相互作用でユーザーの複雑なメンタルモデルを正確に捉えている。
関連論文リスト
- Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳(メタデータ) (2023-12-04T08:02:59Z) - Detecting Any Human-Object Interaction Relationship: Universal HOI
Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。
我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。
オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
論文 参考訳(メタデータ) (2023-11-07T08:27:32Z) - Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。
既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。
ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
論文 参考訳(メタデータ) (2022-08-04T07:51:48Z) - Spatial Parsing and Dynamic Temporal Pooling networks for Human-Object
Interaction detection [30.896749712316222]
本稿では,空間的パーシングと動的テンポリング(SPDTP)ネットワークについて紹介する。
我々はCAD-120およびSome-Elseデータセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-06-07T07:26:06Z) - DIAL: Deep Interactive and Active Learning for Semantic Segmentation in
Remote Sensing [34.209686918341475]
我々は、ディープニューラルネットワークと人間のループでの協調を構築することを提案する。
簡単に言うと、エージェントはネットワークと反復的に対話して、当初欠陥があった予測を修正する。
本研究では,不確実性推定に基づくアクティブラーニングにより,ユーザを迅速に誤りに導くことができることを示す。
論文 参考訳(メタデータ) (2022-01-04T09:11:58Z) - RR-Net: Injecting Interactive Semantics in Human-Object Interaction
Detection [40.65483058890176]
最新のエンドツーエンドHOI検出器は関係推論に欠けており、予測のためにHOI固有の対話的セマンティクスを学習できない。
まず、インタラクション推論のための新しい構造とパラメータ共有パターンをもたらす、プログレッシブな関係認識フレームを提案する。
上記のモジュールに基づいて、Relation Reasoning Network (abbr) というエンドツーエンドのトレーニング可能なフレームワークを構築します。
RR-Net)
論文 参考訳(メタデータ) (2021-04-30T14:03:10Z) - Transferable Interactiveness Knowledge for Human-Object Interaction
Detection [46.89715038756862]
我々は,人間と物体が相互に相互作用するか否かを示す対話性知識を探索する。
対話性に関する知識は、HOIデータセット全体で学習でき、多様なHOIカテゴリ設定のギャップを埋めることができる。
私たちのコアアイデアは、対話性ネットワークを利用して、複数のHOIデータセットから一般的な対話性知識を学ぶことです。
論文 参考訳(メタデータ) (2021-01-25T18:21:07Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳(メタデータ) (2020-07-07T17:19:56Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。