Fugu-MT 論文翻訳(概要): A Formal Analysis of Multimodal Referring Strategies Under Common Ground

論文の概要: A Formal Analysis of Multimodal Referring Strategies Under Common Ground

arxiv url: http://arxiv.org/abs/2003.07385v1
Date: Mon, 16 Mar 2020 18:08:52 GMT
ステータス: 処理完了
システム内更新日: 2022-12-23 02:38:51.325200
Title: A Formal Analysis of Multimodal Referring Strategies Under Common Ground
Title（参考訳）: 共通地におけるマルチモーダル参照戦略の形式的解析
Authors: Nikhil Krishnaswamy and James Pustejovsky
Abstract要約: そこで我々は,ジェスチャーと言語間の相互作用の顕著な形式的意味的特性を明らかにする。これらの形式的特徴が、参照表現の視聴者判定を予測するためのより良いモデルのトレーニングにどのように貢献するかを示す。
参考スコア（独自算出の注目度）: 11.495268947367979
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we present an analysis of computationally generated mixed-modality definite referring expressions using combinations of gesture and linguistic descriptions. In doing so, we expose some striking formal semantic properties of the interactions between gesture and language, conditioned on the introduction of content into the common ground between the (computational) speaker and (human) viewer, and demonstrate how these formal features can contribute to training better models to predict viewer judgment of referring expressions, and potentially to the generation of more natural and informative referring expressions.
Abstract（参考訳）: 本稿では,ジェスチャと言語記述の組み合わせを用いた,計算によって生成された混合モダリティ定型表現の解析を行う。そこで我々は,ジェスチャーと言語間の相互作用の顕著な形式的意味的特性を明らかにするとともに,(計算的)話者と(人間的)視聴者の共通場へのコンテンツ導入を条件とし,これらの形式的特徴が,参照表現に対する視聴者の判断を予測し,より自然で情報的な参照表現の生成にどのように寄与するかを示す。

関連論文リスト

Learning Co-Speech Gesture Representations in Dialogue through Contrastive Learning: An Intrinsic Evaluation [4.216085185442862]
対面対話では, 文脈的要因によって, 話し言葉の形式的意味の関係が変化する。ジェスチャーの多様性と音声との関係を考慮した意味あるジェスチャー表現の学習法本稿では,自己指導型コントラスト学習技術を用いて,骨格情報と音声情報からジェスチャー表現を学習する。
論文参考訳（メタデータ） (2024-08-31T08:53:18Z)
A Grammatical Compositional Model for Video Action Detection [24.546886938243393]
典型的なAnd-Orグラフに基づく行動検出のための新しい文法合成モデル(GCM)を提案する。本モデルは,文法モデルの構成性とDNNのリッチな特徴を表現する能力の両面を活用するために,階層的な動作の固有構造と潜時的関係を利用する。
論文参考訳（メタデータ） (2023-10-04T15:24:00Z)
Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
このようなパラダイムを模倣学習でどのように行うべきかを評価する。本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。逆動力学モデリングはこの設定に適していると主張する。
論文参考訳（メタデータ） (2023-05-26T14:40:46Z)
Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
論文参考訳（メタデータ） (2023-05-25T15:26:13Z)
Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文参考訳（メタデータ） (2023-05-23T23:45:20Z)
Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
論文参考訳（メタデータ） (2022-05-22T03:24:45Z)
Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
論文参考訳（メタデータ） (2022-05-04T14:35:38Z)
Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文参考訳（メタデータ） (2021-07-22T20:52:26Z)
Analysing Lexical Semantic Change with Contextualised Word Representations [7.071298726856781]
本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
論文参考訳（メタデータ） (2020-04-29T12:18:14Z)
Structural Inductive Biases in Emergent Communication [36.26083882473554]
グラフ参照ゲームの開発による人工エージェントにおける表現学習の影響について検討する。グラフニューラルネットワークによりパラメータ化されたエージェントは、単語のバッグやシーケンスモデルと比較して、より構成的な言語を開発する。
論文参考訳（メタデータ） (2020-02-04T14:59:08Z)
How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。