論文の概要: DeepSI: Interactive Deep Learning for Semantic Interaction

• arxiv url: http://arxiv.org/abs/2305.18357v1
• Date: Fri, 26 May 2023 18:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 22:10:36.780263
• Title: DeepSI: Interactive Deep Learning for Semantic Interaction
• Title（参考訳）: DeepSI: セマンティックインタラクションのための対話型ディープラーニング
• Authors: Yali Bian, Chris North
• Abstract要約: 本稿では,深層学習をループ内対話型感触パイプラインに統合するフレームワークを提案する。 ディープラーニングは生データから意味のある表現を抽出し、意味的相互作用推論を改善する。 意味的相互作用を利用して深層学習表現を微調整し、意味的相互作用推論を改善する。
• 参考スコア（独自算出の注目度）: 5.188825486231326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we design novel interactive deep learning methods to improve semantic interactions in visual analytics applications. The ability of semantic interaction to infer analysts' precise intents during sensemaking is dependent on the quality of the underlying data representation. We propose the $\text{DeepSI}_{\text{finetune}}$ framework that integrates deep learning into the human-in-the-loop interactive sensemaking pipeline, with two important properties. First, deep learning extracts meaningful representations from raw data, which improves semantic interaction inference. Second, semantic interactions are exploited to fine-tune the deep learning representations, which then further improves semantic interaction inference. This feedback loop between human interaction and deep learning enables efficient learning of user- and task-specific representations. To evaluate the advantage of embedding the deep learning within the semantic interaction loop, we compare $\text{DeepSI}_{\text{finetune}}$ against a state-of-the-art but more basic use of deep learning as only a feature extractor pre-processed outside of the interactive loop. Results of two complementary studies, a human-centered qualitative case study and an algorithm-centered simulation-based quantitative experiment, show that $\text{DeepSI}_{\text{finetune}}$ more accurately captures users' complex mental models with fewer interactions.
• Abstract（参考訳）: 本稿では,視覚分析アプリケーションにおける意味的相互作用を改善するための対話型深層学習手法を設計する。 意味的相互作用によって分析者の正確な意図を推測する能力は、基礎となるデータ表現の品質に依存する。 そこで我々は,深層学習を人間-ループ間対話型センスメイキングパイプラインに統合する,$\text{DeepSI}_{\text{finetune}}$フレームワークを提案する。 まず、ディープラーニングは生データから意味のある表現を抽出し、意味的相互作用推論を改善する。 第二に、意味的相互作用を利用して深層学習表現を微調整し、さらに意味的相互作用推論を改善する。 このヒューマンインタラクションとディープラーニング間のフィードバックループによって、ユーザとタスク固有の表現の効率的な学習が可能になる。 セマンティック・インタラクション・ループにディープラーニングを埋め込むことの利点を評価するために、$\text{DeepSI}_{\text{finetune}}$をインタラクティブ・ループの外で事前処理された機能抽出器として、最先端だが基本的なディープラーニングの利用と比較する。 人間中心の質的ケーススタディとアルゴリズム中心のシミュレーションに基づく定量的実験の2つの相補的な研究の結果、$\text{deepsi}_{\text{finetune}}$はより少ない相互作用でユーザーの複雑なメンタルモデルを正確に捉えている。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• DIAL: Deep Interactive and Active Learning for Semantic Segmentation in Remote Sensing [34.209686918341475]
  我々は、ディープニューラルネットワークと人間のループでの協調を構築することを提案する。 簡単に言うと、エージェントはネットワークと反復的に対話して、当初欠陥があった予測を修正する。 本研究では,不確実性推定に基づくアクティブラーニングにより,ユーザを迅速に誤りに導くことができることを示す。
  論文  参考訳（メタデータ） (2022-01-04T09:11:58Z)
• RR-Net: Injecting Interactive Semantics in Human-Object Interaction Detection [40.65483058890176]
  最新のエンドツーエンドHOI検出器は関係推論に欠けており、予測のためにHOI固有の対話的セマンティクスを学習できない。 まず、インタラクション推論のための新しい構造とパラメータ共有パターンをもたらす、プログレッシブな関係認識フレームを提案する。 上記のモジュールに基づいて、Relation Reasoning Network (abbr) というエンドツーエンドのトレーニング可能なフレームワークを構築します。 RR-Net)
  論文  参考訳（メタデータ） (2021-04-30T14:03:10Z)
• Transferable Interactiveness Knowledge for Human-Object Interaction Detection [46.89715038756862]
  我々は,人間と物体が相互に相互作用するか否かを示す対話性知識を探索する。 対話性に関する知識は、HOIデータセット全体で学習でき、多様なHOIカテゴリ設定のギャップを埋めることができる。 私たちのコアアイデアは、対話性ネットワークを利用して、複数のHOIデータセットから一般的な対話性知識を学ぶことです。
  論文  参考訳（メタデータ） (2021-01-25T18:21:07Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。