論文の概要: Transcending the Attention Paradigm: Representation Learning from
Geospatial Social Media Data
- arxiv url: http://arxiv.org/abs/2310.05378v3
- Date: Sun, 14 Jan 2024 09:29:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 01:23:05.753439
- Title: Transcending the Attention Paradigm: Representation Learning from
Geospatial Social Media Data
- Title（参考訳）: 注意パラダイムを超越する:地理空間ソーシャルメディアデータからの表現学習
- Authors: Nick DiSanto, Anthony Corso, Benjamin Sanders, Gavin Harding
- Abstract要約: 本研究では,分散パターンの源泉としてソーシャルメディアデータを調べることで,パフォーマンスベンチマークのパラダイムに挑戦する。
これらの抽象的関係を適切に表現するために、この研究では、経験的ソーシャルメディアコーパスを要素成分に分解し、人口密度の場所をまたいだ20億以上のツイートを分析した。
- 参考スコア（独自算出の注目度）: 1.8311821879979955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While transformers have pioneered attention-driven architectures as a
cornerstone of language modeling, their dependence on explicitly contextual
information underscores limitations in their abilities to tacitly learn
overarching textual themes. This study challenges the heuristic paradigm of
performance benchmarking by investigating social media data as a source of
distributed patterns. In stark contrast to networks that rely on capturing
complex long-term dependencies, models of online data inherently lack structure
and are forced to detect latent structures in the aggregate. To properly
represent these abstract relationships, this research dissects empirical social
media corpora into their elemental components, analyzing over two billion
tweets across population-dense locations. We create Bag-of-Word embedding
specific to each city and compare their respective representations. This finds
that even amidst noisy data, geographic location has a considerable influence
on online communication, and that hidden insights can be uncovered without the
crutch of advanced algorithms. This evidence presents valuable geospatial
implications in social science and challenges the notion that intricate models
are prerequisites for pattern recognition in natural language. This aligns with
the evolving landscape that questions the embrace of absolute interpretability
over abstract understanding and bridges the divide between sophisticated
frameworks and intangible relationships.
- Abstract（参考訳）: トランスフォーマーは、言語モデリングの基盤として注目駆動アーキテクチャを開拓してきたが、文脈情報への依存は、テキストのテーマを暗黙的に学習する能力の限界を浮き彫りにした。
本研究では,分散パターンの源泉としてソーシャルメディアデータを調べることで,パフォーマンスベンチマークのヒューリスティックパラダイムに挑戦する。
複雑な長期的な依存関係を捉えるネットワークとは対照的に、オンラインデータのモデルは本質的に構造を欠き、集約内の潜在構造を検出せざるを得ない。
この研究は、これらの抽象的な関係を適切に表現するために、実験的なソーシャルメディアコーパスを要素的要素に分類し、人口密度の高い場所で20億以上のツイートを分析します。
我々は各都市固有の単語の埋め込みを作成し、それぞれの表現を比較する。
これは、ノイズの多いデータにもかかわらず、地理的な場所はオンライン通信に大きな影響を与え、隠れた洞察は高度なアルゴリズムの欠如なしに発見できることを示している。
この証拠は、社会科学において貴重な地理空間的含意を示し、複雑なモデルが自然言語におけるパターン認識の前提条件であるという考えに挑戦する。
これは、抽象的な理解よりも絶対的な解釈可能性を受け入れることに疑問を呈し、洗練されたフレームワークと無形関係の間の隔たりを橋渡しする進化途上の状況と一致する。
関連論文リスト
- Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。
提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
論文 参考訳（メタデータ） (2024-06-18T13:35:25Z) - How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。
SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
論文 参考訳（メタデータ） (2024-04-16T17:01:27Z) - Emergence and Function of Abstract Representations in Self-Supervised
Transformers [0.0]
本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。
ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。
正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
論文 参考訳（メタデータ） (2023-12-08T20:47:15Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - Variational Cross-Graph Reasoning and Adaptive Structured Semantics
Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文 参考訳（メタデータ） (2023-01-22T08:02:23Z) - TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。
まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。
次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
論文 参考訳（メタデータ） (2022-06-15T02:33:10Z) - Learning Attention-based Representations from Multiple Patterns for
Relation Prediction in Knowledge Graphs [2.4028383570062606]
AEMPは、エンティティのコンテキスト情報を取得することによって、コンテキスト化された表現を学習するための新しいモデルである。
AEMPは、最先端の関係予測手法よりも優れるか、競合する。
論文 参考訳（メタデータ） (2022-06-07T10:53:35Z) - Understanding Spatial Relations through Multiple Modalities [78.07328342973611]
オブジェクト間の空間的関係は、空間的前置詞として表されるか、移動、歩行、移動などの空間的動詞によって表される。
画像中の2つの実体間の暗黙的・明示的な空間的関係を推定するタスクを導入する。
本研究では、テキスト情報と視覚情報の両方を用いて空間関係を予測し、物体の位置情報と大きさ情報と画像埋め込みを利用するモデルを設計する。
論文 参考訳（メタデータ） (2020-07-19T01:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。