論文の概要: For a semiotic AI: Bridging computer vision and visual semiotics for computational observation of large scale facial image archives
- arxiv url: http://arxiv.org/abs/2407.03268v2
- Date: Fri, 11 Oct 2024 16:03:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:28:23.174583
- Title: For a semiotic AI: Bridging computer vision and visual semiotics for computational observation of large scale facial image archives
- Title（参考訳）: コンピュータビジョンとビジュアル・セミオティックスによる大規模顔画像アーカイブの計算観察
- Authors: Lia Morra, Antonio Santangelo, Pietro Basci, Luca Piano, Fabio Garcea, Fabrizio Lamberti, Massimo Leone,
- Abstract要約: この研究は、ソーシャルメディアプラットフォームにおける画像の社会的・文化的影響を大規模に調査するためのフレームワークであるFRESCOを提示する。
FRESCOは、最新のコンピュータビジョン技術を用いて、画像を数値変数と分類変数に分解する。
このフレームワークは、線や色のような基本的な視覚的特徴を含むプラスティックレベル、特定の実体や概念を表す図形レベル、特にオブザーバーとオブザーバーの視点を構築することに焦点を当てた啓示レベルという3つのレベルにわたって画像を分析する。
- 参考スコア（独自算出の注目度）: 3.418398936676879
- License:
- Abstract: Social networks are creating a digital world in which the cognitive, emotional, and pragmatic value of the imagery of human faces and bodies is arguably changing. However, researchers in the digital humanities are often ill-equipped to study these phenomena at scale. This work presents FRESCO (Face Representation in E-Societies through Computational Observation), a framework designed to explore the socio-cultural implications of images on social media platforms at scale. FRESCO deconstructs images into numerical and categorical variables using state-of-the-art computer vision techniques, aligning with the principles of visual semiotics. The framework analyzes images across three levels: the plastic level, encompassing fundamental visual features like lines and colors; the figurative level, representing specific entities or concepts; and the enunciation level, which focuses particularly on constructing the point of view of the spectator and observer. These levels are analyzed to discern deeper narrative layers within the imagery. Experimental validation confirms the reliability and utility of FRESCO, and we assess its consistency and precision across two public datasets. Subsequently, we introduce the FRESCO score, a metric derived from the framework's output that serves as a reliable measure of similarity in image content.
- Abstract（参考訳）: ソーシャルネットワークは、人間の顔や身体のイメージの認知的、感情的、実用的価値が間違いなく変化しているデジタル世界を作り出している。
しかし、デジタル人文科学の研究者たちは、これらの現象を大規模に研究するには不適当であることが多い。
本研究は、ソーシャルメディアプラットフォームにおける画像の社会的・文化的影響を大規模に調査するフレームワークであるFRESCO(Face Representation in E-Societies through Computational Observation)を提示する。
FRESCOは、画像を最先端のコンピュータビジョン技術を用いて数値変数と分類変数に分解し、視覚的記号論の原理と整合する。
このフレームワークは、線や色のような基本的な視覚的特徴を含むプラスティックレベル、特定の実体や概念を表す図形レベル、特にオブザーバーとオブザーバーの視点を構築することに焦点を当てた啓示レベルという3つのレベルにまたがる画像を分析する。
これらのレベルは、画像内のより深い物語層を識別するために分析される。
実験によりFRESCOの信頼性と実用性を確認し,その一貫性と精度を2つの公開データセットで評価する。
次に,FRESCOスコア(FRESCOスコア)を導入する。これはフレームワークの出力から派生したもので,画像内容の類似度を信頼性の高い尺度として機能する。
関連論文リスト
- When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。
モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。
その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - Structuring Quantitative Image Analysis with Object Prominence [0.0]
データとして画像を分析するための重要なステップとして,オブジェクトの優位性について慎重に検討する。
我々の手法は質的な分析と定量的アプローチのスケーラビリティを組み合わせる。
論文 参考訳（メタデータ） (2024-08-30T19:05:28Z) - Semiotics Networks Representing Perceptual Inference [0.0]
本稿では,物体の知覚を追跡・シミュレートする計算モデルを提案する。
我々のモデルは人間に限らず、「内部」表現から「外部」表現への処理を含むループを含むシステムに適用することができる。
論文 参考訳（メタデータ） (2023-10-08T16:05:17Z) - ConceptBed: Evaluating Concept Learning Abilities of Text-to-Image
Diffusion Models [79.10890337599166]
本研究では,284のユニークな視覚概念と33Kの合成テキストプロンプトからなる大規模データセットであるConceptBedを紹介する。
我々は、対象、属性、スタイルのいずれかである視覚概念を評価し、また、構成性の4つの次元(計数、属性、関係、行動)を評価する。
私たちの結果は、概念を学ぶことと、既存のアプローチが克服に苦労する構成性を維持することのトレードオフを示しています。
論文 参考訳（メタデータ） (2023-06-07T18:00:38Z) - Spotlight Attention: Robust Object-Centric Learning With a Spatial
Locality Prior [88.9319150230121]
オブジェクト中心のビジョンは、シーン内のオブジェクトの明示的な表現を構築することを目的としています。
我々は、空間的局所性を最先端のオブジェクト中心視覚モデルに組み込む。
合成および実世界の両方のデータセットにおけるセグメンテーションオブジェクトの大幅な改善が得られた。
論文 参考訳（メタデータ） (2023-05-31T04:35:50Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。
以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
論文 参考訳（メタデータ） (2022-07-25T17:58:16Z) - Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal
Frames [1.4502611532302037]
非物理的オブジェクトを参照する社会的概念は、視覚データの内容を記述、インデックス化、クエリするための強力なツールである。
本稿では,社会概念をマルチモーダル・フレームとして表現するためのソフトウェア手法を提案する。
本手法は,視覚芸術作品から興味ある概念をタグ付けしたマルチモーダル特徴の抽出,解析,統合に焦点を当てる。
論文 参考訳（メタデータ） (2021-10-14T14:50:22Z) - Visual resemblance and communicative context constrain the emergence of
graphical conventions [21.976382800327965]
描画は視覚世界についてコミュニケーションするための多彩な媒体を提供する。
視聴者は、自分の参照するエンティティ(つまり画像)にのみ類似する能力に基づいて、図面を理解できますか?
彼らはこれらの実体(記号)との共有だが任意の関連に基づく図面を理解できますか。
論文 参考訳（メタデータ） (2021-09-17T23:05:36Z) - Enhancing Social Relation Inference with Concise Interaction Graph and
Discriminative Scene Representation [56.25878966006678]
我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。
人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。
PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
論文 参考訳（メタデータ） (2021-07-30T04:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。