論文の概要: Instrumental genesis through interdisciplinary collaboration -- reflections on the emergence of a visualisation framework for video annotation data

• arxiv url: http://arxiv.org/abs/2305.18825v1
• Date: Tue, 30 May 2023 08:21:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 17:40:10.305467
• Title: Instrumental genesis through interdisciplinary collaboration -- reflections on the emergence of a visualisation framework for video annotation data
• Title（参考訳）: 学際的コラボレーションによる楽器生成 -ビデオアノテーションデータの可視化フレームワークの出現に関する考察-
• Authors: Olivier Aubert (LS2N, Nantes Univ, LS2N - \'equipe DUKe), Thomas Scherer, Jasper Stratil
• Abstract要約: 本稿では,視覚的表現の時間的ダイナミクス解析のための可視化フレームワークの開発について述べる。 コンピュータサイエンス学者と人文科学学者の協調とコミュニケーションのプロセスを通して記述される。 本稿では,オープンソースソフトウェアAdveneで生成したインタラクティブインタフェースとして,可視化の反復的開発に焦点をあてる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instrumental genesis through interdisciplinary collaboration-reflections on the emergence of a visualisation framework for video annotation data XML This paper presents, discusses and reflects on the development of a visualization framework for the analysis of the temporal dynamics of audiovisual expressivity. The main focus lies on the instrumental genesis process (Rabardel 1995; Longchamp 2012)-a concept trying to express and analyze the co-evolution of instruments and the practices they make possible-underlying this development. It is described through the collaboration and communication processes between computer science scholars and humanities scholars in finding new ways of visualizing complex datasets for exploration and presentation in the realm of film-studies research. It draws on the outcome and concrete usage of the visualizations in publications and presentations of a research group, the AdAproject, that investigates the audiovisual rhetorics of affect in audiovisual media on the financial crisis (2007-). These film analyses are based on theoretical assumptions on the process of film-viewing, the relation of the viewer's perception and the temporally unfolding audiovisual images, and a methodical approach that draws on 'steps' in the research process such as segmentation, description and qualification, called eMAEX (Kappelhoff et al. 2011-2016) to reconstruct these experiential figurations (Bakels et al. 2020a, 2020b). The main focus of this paper is the process of iterative development of visualizations as interactive interfaces generated with the open-source software Advene, that were an integral part of the research process. In this regard, the timeline visualization is not only of interest for visual argumentation in (digital) humanities publications, but also for the creation of annotations as well as the exploration of this data. In the first part of the paper we describe this interdisciplinary collaboration as instrumental genesis on a general level-as an evolving and iterative process. In the second part we focus on the specific challenge of designing a visualization framework for the temporal dynamics of audiovisual aesthetics. Lastly we zoom out by reflecting on experiences and insights that might be of interest for the wider digital humanities community.
• Abstract（参考訳）: 本稿では,ビデオアノテーションデータに対する可視化フレームワークの出現に関する学際的コラボレーション・リフレクションを通じて,映像表現の時間的ダイナミクス解析のための可視化フレームワークの開発について論じ,考察する。 主な焦点は器楽曲生成プロセス(rabardel 1995; longchamp 2012)であり、楽器の共進化を表現し分析しようとする概念である。 映画研究の分野での探索とプレゼンテーションのための複雑なデータセットを視覚化する新しい方法を見つけるために、コンピュータサイエンスの学者と人文科学の学者のコラボレーションとコミュニケーションプロセスを通じて記述されている。 調査グループAdAprojectの出版物やプレゼンテーションにおける可視化の成果と具体的な利用を参考に、金融危機に関するオーディオ視覚メディアへの影響のオーディオ視覚レトリックを調査する(2007-)。 これらのフィルム分析は、映像視聴の過程、視聴者の知覚と時間的展開する視聴覚画像の関係に関する理論的仮定と、これらの経験的フィギュレーションを再構築するためにemaex(kappelhoff et al. 2011-2016)と呼ばれる、セグメンテーション、説明、資格などの研究過程における「ステップ」を描く方法論的アプローチに基づいている(bakels et al. 2020a, 2020b)。 この論文の主な焦点は、研究プロセスにおいて不可欠な部分であった、オープンソースのソフトウェアアドバンによって生成されたインタラクティブなインターフェースとしての可視化の反復的な開発プロセスである。 この点において、タイムラインの可視化は、(デジタル)人文科学出版物における視覚的議論だけでなく、アノテーションの作成やこのデータの探索にも関心がある。 論文の前半では、この学際的なコラボレーションを、進化的かつ反復的なプロセスとして、一般的なレベルでのインストゥルメンタルジェネシスとして記述する。 第2部では、視覚美学の時間的ダイナミクスのための可視化フレームワークを設計する際の課題に焦点を当てる。 最後に、より広いデジタル人文科学コミュニティにとって興味のある経験や洞察を反映して、ズームアウトします。

関連論文リスト

• Video-to-Audio Generation with Hidden Alignment [27.11625918406991]
  我々は、視覚エンコーダ、補助埋め込み、データ拡張技術に焦点をあてて、ビデオ・オーディオ生成パラダイムに関する洞察を提供する。 提案モデルでは,最先端のビデオ・オーディオ生成機能を示す。
  論文  参考訳（メタデータ） (2024-07-10T08:40:39Z)
• Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling [24.346868432774453]
  人間は聴覚情報と視覚情報を統合でき、周囲の環境をより深く理解することができる。 認知心理学と神経科学の研究を通じて実証された、音声と視覚の早期融合は、マルチモーダル知覚モデルを開発するための有望な可能性を提供する。 初期融合によるオーディオ・ビジュアル・エンコーダの訓練にマスク付き再構成フレームワークを活用することで、早期融合アーキテクチャの訓練に対処する。 本研究では,局所的な音声と視覚的表現の相互作用を捉え,細粒度な相互作用を捕捉するモデルの能力を向上する,注意に基づく融合モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-02T03:38:49Z)
• Learning in Audio-visual Context: A Review, Analysis, and New Perspective [88.40519011197144]
  本調査は,聴覚・視覚領域の研究を体系的に整理し,分析することを目的とする。 計算研究に影響を与えた重要な発見をいくつか紹介する。 本稿では,音声視覚シーン理解の新しい視点を提案するとともに,音声視覚学習領域の今後の可能性について論じ,分析する。
  論文  参考訳（メタデータ） (2022-08-20T02:15:44Z)
• Recent Advances and Challenges in Deep Audio-Visual Correlation Learning [7.273353828127817]
  本稿では,音声と映像の相関関係の学習に使用される最新技術(SOTA)モデルに焦点を当てる。 また、AIマルチメディアに適用された定義とパラダイムのタスクについても論じる。
  論文  参考訳（メタデータ） (2022-02-28T10:43:01Z)
• From Show to Tell: A Survey on Image Captioning [48.98681267347662]
  視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。 画像キャプションの研究はまだ結論に達していない。 本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
  論文  参考訳（メタデータ） (2021-07-14T18:00:54Z)
• A Survey on Deep Learning Technique for Video Segmentation [147.0767454918527]
  ビデオセグメンテーションは幅広い応用において重要な役割を果たしている。 ディープラーニングベースのアプローチは、ビデオセグメンテーションに特化しており、魅力的なパフォーマンスを提供している。
  論文  参考訳（メタデータ） (2021-07-02T15:51:07Z)
• An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation [57.68765353264689]
  音声強調と音声分離は関連する2つの課題である。 伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。 ディープラーニングは強力なパフォーマンスを達成するために利用されています。
  論文  参考訳（メタデータ） (2020-08-21T17:24:09Z)
• Survey on Visual Sentiment Analysis [87.20223213370004]
  本稿では、関連する出版物をレビューし、視覚知覚分析の分野の概要を概観する。 また,3つの視点から一般的な視覚知覚分析システムの設計原理について述べる。 様々なレベルの粒度と、異なる方法でイメージに対する感情に影響を与えるコンポーネントを考慮し、問題の定式化について論じる。
  論文  参考訳（メタデータ） (2020-04-24T10:15:22Z)
• Image Segmentation Using Deep Learning: A Survey [58.37211170954998]
  イメージセグメンテーションは、画像処理とコンピュータビジョンにおいて重要なトピックである。 深層学習モデルを用いた画像セグメンテーション手法の開発を目的とした研究が,これまでに数多く行われている。
  論文  参考訳（メタデータ） (2020-01-15T21:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。