Fugu-MT 論文翻訳(概要): A Game Interface to Study Semantic Grounding in Text-Based Models

論文の概要: A Game Interface to Study Semantic Grounding in Text-Based Models

arxiv url: http://arxiv.org/abs/2108.07708v1
Date: Tue, 17 Aug 2021 15:50:44 GMT
ステータス: 処理完了
システム内更新日: 2021-08-18 13:22:37.113472
Title: A Game Interface to Study Semantic Grounding in Text-Based Models
Title（参考訳）: テキストモデルにおける意味的接地学習のためのゲームインタフェース
Authors: Timothee Mickus, Mathieu Constant and Denis Paperno
Abstract要約: 本研究では,言語モデルがテキスト分布のみから基底表現を学習できるかどうかを実験的に検証する。本稿では,5言語における単語対の分布的類似性に関する人間の判断の収集を目的としたオンラインゲームについて述べる。
参考スコア（独自算出の注目度）: 1.6973426830397942
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Can language models learn grounded representations from text distribution alone? This question is both central and recurrent in natural language processing; authors generally agree that grounding requires more than textual distribution. We propose to experimentally test this claim: if any two words have different meanings and yet cannot be distinguished from distribution alone, then grounding is out of the reach of text-based models. To that end, we present early work on an online game for the collection of human judgments on the distributional similarity of word pairs in five languages. We further report early results of our data collection campaign.
Abstract（参考訳）: 言語モデルはテキスト配信のみから基底表現を学習できるのか? この問題は自然言語処理において中心的かつ再帰的である。この主張を実験的に検証するために提案する: もし2つの単語が異なる意味を持ち、分布のみと区別できないなら、基底化はテキストベースモデルの範囲外である。そこで本研究では,5言語における単語対の分布的類似性に関する人的判断の収集を目的としたオンラインゲームについて述べる。さらに、データ収集キャンペーンの初期結果を報告します。

関連論文リスト

A Distributional Perspective on Word Learning in Neural Language Models [57.41607944290822]
言語モデルにおける単語学習のための広く合意されたメトリクスは存在しない。我々は、先行研究で研究された分布シグネチャは、重要な分布情報の取得に失敗すると主張している。我々は、スクラッチから訓練する小さな言語モデルを選択するための学習軌跡を得る。
論文参考訳（メタデータ） (2025-02-09T13:15:59Z)
Grounding Gaps in Language Model Generations [67.79817087930678]
大規模言語モデルが人間の接地を反映したテキストを生成するかどうかを考察する。人間に比べ、LLMは会話の基盤を減らした言語を生成する。同定された接地ギャップの根源を理解するために,命令チューニングと選好最適化の役割について検討する。
論文参考訳（メタデータ） (2023-11-15T17:40:27Z)
Grounded and Well-rounded: A Methodological Approach to the Study of Cross-modal and Cross-lingual Grounding [3.435010087800495]
グラウンディングは、より完全で真にセマンティックに有能な人工知能システムの開発において重要な要素であると主張している。テキストのみよりもリッチな入力ソースを持つモデルを提供することの効果について検討する。このフレームワークを用いた実験では、クロスモーダル・グラウンドド、クロスランガル・グラウンドド、アングラウンドド・モデル間のモデル挙動の質的な差異が明らかになった。
論文参考訳（メタデータ） (2023-10-18T13:05:50Z)
A Joint Study of Phrase Grounding and Task Performance in Vision and Language Models [28.746370086515977]
視覚的文脈における自然言語の推論を必要とするタスクの鍵は、言葉とフレーズを画像領域に接地することである。本稿では,タスクのパフォーマンスとフレーズのグラウンド化を共同で研究する枠組みを提案する。地中表現アノテーションのブルートフォーストレーニングを通じてこの問題に対処する方法を示す。
論文参考訳（メタデータ） (2023-09-06T03:54:57Z)
Entailment Semantics Can Be Extracted from an Ideal Language Model [32.5500309433108]
文間の係り受け判断が理想的な言語モデルから抽出できることを実証する。また,これらのデータに基づいて学習した言語モデルの予測から,包含判断を復号化できることを示す。
論文参考訳（メタデータ） (2022-09-26T04:16:02Z)
Do Trajectories Encode Verb Meaning? [22.409307683247967]
接地言語モデルは、名詞や形容詞などの具体的なカテゴリーを、画像やビデオを通じて世界に接続することを学ぶ。本稿では,対象物の位置と回転が自然に意味論的にエンコードされる範囲について検討する。トラジェクトリはいくつかの動詞(例えば転落)と相関し、自己教師付き事前学習による追加抽象は、動詞の意味のニュアンス的な違いをさらに捉えることができる。
論文参考訳（メタデータ） (2022-06-23T19:57:16Z)
Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
論文参考訳（メタデータ） (2022-03-16T04:50:27Z)
The World of an Octopus: How Reporting Bias Influences a Language Model's Perception of Color [73.70233477125781]
報告バイアスがテキストのみのトレーニングに悪影響を及ぼし、本質的に制限されていることを示す。次に、マルチモーダルモデルが視覚的トレーニングを利用してこれらの効果を緩和できることを実証する。
論文参考訳（メタデータ） (2021-10-15T16:28:17Z)
Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
未知のシステムが意味を習得する能力について検討する。アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
論文参考訳（メタデータ） (2021-04-22T01:00:17Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。