論文の概要: Can Language Models Encode Perceptual Structure Without Grounding? A Case Study in Color

• arxiv url: http://arxiv.org/abs/2109.06129v2
• Date: Tue, 14 Sep 2021 07:10:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 13:13:14.005297
• Title: Can Language Models Encode Perceptual Structure Without Grounding? A Case Study in Color
• Title（参考訳）: 言語モデルは接地なしで知覚構造を符号化できるか? 色彩のケーススタディ
• Authors: Mostafa Abdou, Artur Kulmizev, Daniel Hershcovich, Stella Frank, Ellie Pavlick, Anders S{\o}gaard
• Abstract要約: 我々は,知覚的に有意な距離測定値を持つ色空間であるCIELABで表されるモノレキセミックカラー用語とカラーチップのデータセットを用いる。 この空間における色の構造的アライメントをテキスト由来の色項表現で評価する2つの手法を用いて,有意な対応性を見出した。 温かい色は、平均すると、より涼しい色よりも知覚的な色空間に合わせた方がよいことがわかりました。
• 参考スコア（独自算出の注目度）: 18.573415435334105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models have been shown to encode relational information, such as the relations between entities or concepts in knowledge-bases -- (Paris, Capital, France). However, simple relations of this type can often be recovered heuristically and the extent to which models implicitly reflect topological structure that is grounded in world, such as perceptual structure, is unknown. To explore this question, we conduct a thorough case study on color. Namely, we employ a dataset of monolexemic color terms and color chips represented in CIELAB, a color space with a perceptually meaningful distance metric. Using two methods of evaluating the structural alignment of colors in this space with text-derived color term representations, we find significant correspondence. Analyzing the differences in alignment across the color spectrum, we find that warmer colors are, on average, better aligned to the perceptual color space than cooler ones, suggesting an intriguing connection to findings from recent work on efficient communication in color naming. Further analysis suggests that differences in alignment are, in part, mediated by collocationality and differences in syntactic usage, posing questions as to the relationship between color perception and usage and context.
• Abstract（参考訳）: 事前訓練された言語モデルは、知識ベースにおける実体と概念の関係(パリ、首都、フランス)のような関係情報を符号化する。 しかし、このタイプの単純な関係はしばしばヒューリスティックに復元され、知覚構造のような世界に根ざした位相構造が暗黙的に反映される範囲は未知である。 この問題を探求するため、我々は色に関する徹底的なケーススタディを実施している。 すなわち、知覚的に意味のある距離距離の測度を持つ色空間であるCIELABで表されるモノレキセミックな色用語と色チップのデータセットを用いる。 この空間における色彩の構造的アライメントとテキスト由来の色項表現の2つの方法を用いて,有意な対応を見出す。 色スペクトル間のアライメントの違いを分析すると、平均して暖かい色は、より涼しい色空間よりも知覚的な色空間によくマッチしていることが分かり、最近のカラーネーミングにおける効率的なコミュニケーションに関する研究から、興味深い関連が示唆された。 さらに分析したところ、アライメントの違いは、部分的にはコロケーション性や統語的使用の差異を介し、色知覚と使用状況との関係について疑問を呈している。

関連論文リスト

• Eye-for-an-eye: Appearance Transfer with Semantic Correspondence in Diffusion Models [8.65146533481257]
  対象画像と同じ構造を持つが、参照画像から色を塗った結果を生成する方法を提案する。 既存のメソッドは、自己アテンション層内のクエリキーの類似性に依存し、通常は欠陥のある結果を生成する。
  論文  参考訳（メタデータ） (2024-06-11T07:08:48Z)
• Are we describing the same sound? An analysis of word embedding spaces of expressive piano performance [4.867952721052875]
  表現力のあるピアノ演奏の特徴の領域における不確実性について検討する。 5つの埋め込みモデルとその類似性構造を基礎的真理に対応するために検証する。 埋め込みモデルの品質は、このタスクに対して大きなばらつきを示している。
  論文  参考訳（メタデータ） (2023-12-31T12:20:03Z)
• Perceptual Structure in the Absence of Grounding for LLMs: The Impact of Abstractedness and Subjectivity in Color Language [2.6094835036012864]
  定義色空間と言語モデルで定義される特徴空間との間にはかなりの整合性があることが示される。 その結果,色空間のアライメントはモノレキセミックで実用的な色記述を保ちつつも,実際の言語的利用の要素を示す例の存在感は著しく低下することがわかった。
  論文  参考訳（メタデータ） (2023-11-22T02:12:36Z)
• Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning [92.07643510310766]
  ビデオの時間的接地は、あるクエリ文に意味的に対応する1つのターゲットビデオセグメントをローカライズすることを目的としている。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 出現した単語の新たな組み合わせによるクエリの一般化に失敗したことを実証的に見出した。 本稿では,ビデオと言語を複数の階層構造に明示的に分解する多変分グラフ推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-24T12:55:23Z)
• The World of an Octopus: How Reporting Bias Influences a Language Model's Perception of Color [73.70233477125781]
  報告バイアスがテキストのみのトレーニングに悪影響を及ぼし、本質的に制限されていることを示す。 次に、マルチモーダルモデルが視覚的トレーニングを利用してこれらの効果を緩和できることを実証する。
  論文  参考訳（メタデータ） (2021-10-15T16:28:17Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Assessing The Importance Of Colours For CNNs In Object Recognition [70.70151719764021]
  畳み込みニューラルネットワーク(CNN)は相反する性質を示すことが示されている。 CNNが予測をしながら色情報に大きく依存していることを実証します。 congruent, greyscale, incongruent画像の合同画像で学習したモデルを評価する。
  論文  参考訳（メタデータ） (2020-12-12T22:55:06Z)
• The Geometry of Distributed Representations for Better Alignment, Attenuated Bias, and Improved Interpretability [9.215513608145994]
  単語、テキスト、画像、知識グラフなどの構造化データに対する高次元表現は、機械学習やデータマイニングで一般的に使用される。 これらの表現は解釈可能性の度合いが異なり、効率的な分散表現は次元マッピングへの特徴の喪失の犠牲となる。 その影響は、多くの表現やタスクで見られ、特に問題のあるものは、基礎となるデータから学習された社会的偏見が未知の次元や部分空間で捕捉され、隠蔽される言語表現である。 この研究は、これらの表現の透明性と解釈可能性に関連するこれらの問題に対処する。
  論文  参考訳（メタデータ） (2020-11-25T01:04:11Z)
• Pragmatically Informative Color Generation by Grounding Contextual Modifiers [14.394987796101349]
  基準色「緑」と修飾色「青」が与えられた場合、どのようにして「青緑」を表す色を生成するのか? 本稿では、この色生成タスクを話者とリスナーの間で再帰的なゲームとして定式化する計算実用モデルを提案する。 本稿では,他の最先端ディープラーニングモデルと比較して,実用的情報の導入によって性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-09T04:54:54Z)
• Understanding Spatial Relations through Multiple Modalities [78.07328342973611]
  オブジェクト間の空間的関係は、空間的前置詞として表されるか、移動、歩行、移動などの空間的動詞によって表される。 画像中の2つの実体間の暗黙的・明示的な空間的関係を推定するタスクを導入する。 本研究では、テキスト情報と視覚情報の両方を用いて空間関係を予測し、物体の位置情報と大きさ情報と画像埋め込みを利用するモデルを設計する。
  論文  参考訳（メタデータ） (2020-07-19T01:35:08Z)
• Semantic-driven Colorization [78.88814849391352]
  最近の着色は、白黒画像の着色を学習しながら意味情報を暗黙的に予測する。 そこで本研究では,まず,人間の動作をシミュレートして,画像の理解を学習し,色づけする。
  論文  参考訳（メタデータ） (2020-06-13T08:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。