論文の概要: The advent and fall of a vocabulary learning bias from communicative
efficiency
- arxiv url: http://arxiv.org/abs/2105.11519v1
- Date: Mon, 24 May 2021 20:13:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-26 13:55:11.254651
- Title: The advent and fall of a vocabulary learning bias from communicative
efficiency
- Title(参考訳): コミュニケーション効率からの語彙学習バイアスの出現と転落
- Authors: David Carrera-Casado and Ramon Ferrer-i-Cancho
- Abstract要約: 幼児の場合、新しい単語に遭遇すると、語彙にまだ単語がない意味にそれを付加する傾向がある。
ここでは、Zipfの意味周波数法則を再現するためにチャネル化されたモデルの一般化を考える。
新しいモデルの解析により、高齢者や多言語児のバイアスの弱体化や喪失とともに、バイアスが一貫して消失する位相空間の領域が明らかになった。
- 参考スコア(独自算出の注目度): 1.2944868613449219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well-known that, when sufficiently young children encounter a new word,
they tend to attach it to a meaning that does not have a word yet in their
lexicon. In previous research, the strategy was shown to be optimal from an
information theoretic standpoint. However, the information theoretic model
employed neither explains the weakening of that vocabulary learning bias in
older children or polylinguals nor reproduces Zipf's meaning-frequency law,
namely the non-linear relationship between the number of meanings of a word and
its frequency. Here we consider a generalization of the model that is channeled
to reproduce that law. The analysis of the new model reveals regions of the
phase space where the bias disappears consistently with the weakening or loss
of the bias in older children or polylinguals. In the deep learning era, the
model is a transparent low-dimensional tool for future experimental research
and illustrates the predictive power of a theoretical framework originally
designed to shed light on the origins of Zipf's rank-frequency law.
- Abstract(参考訳): 十分に幼い子どもが新しい単語に遭遇すると、語彙に語が存在しない意味にアタッチする傾向があることはよく知られている。
これまでの研究では,戦略は情報理論の観点から最適であることが示されている。
しかし、情報理論モデルは、高齢者や多言語話者における語彙学習バイアスの弱さを説明せず、zipfの意味周波数法則、すなわち単語の意味の数と頻度の間の非線形関係を再現するものではない。
ここでは、その法則を再現するためにチャネルされるモデルの一般化を考える。
新たなモデルの解析により,高齢者や多言語系におけるバイアスの弱化や消失に伴い,バイアスが一貫して消失する相空間の領域が明らかになった。
ディープラーニング時代において、このモデルは将来の実験研究のための透明な低次元ツールであり、Zipfのランク周波数法則の起源に光を当てるために設計された理論フレームワークの予測力を示す。
関連論文リスト
- Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Large Language Models Are Partially Primed in Pronoun Interpretation [6.024776891570197]
大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。
最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。
InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
論文 参考訳(メタデータ) (2023-05-26T13:30:48Z) - Bias-to-Text: Debiasing Unknown Visual Biases through Language
Interpretation [72.02386627482056]
本稿では,視覚モデルにおけるバイアスを識別・緩和するB2Tフレームワークを提案する。
視覚バイアスの言語記述は、新しいバイアスの発見と効果的なモデルバイアスの発見を可能にする説明可能な形式を提供する。
様々な画像分類・生成タスクにおけるフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-01-26T13:58:46Z) - Looking at the Overlooked: An Analysis on the Word-Overlap Bias in
Natural Language Inference [20.112129592923246]
我々は、NLIモデルにおける重複バイアスの見過ごされた側面、すなわちリバースワードオーバーラップバイアスに焦点を当てる。
現在のNLIモデルは、重複の少ないインスタンスにおいて、非エンターメントラベルに対して非常に偏りがある。
重なり合うバイアスの出現とその緩和におけるマイノリティ事例の役割について検討する。
論文 参考訳(メタデータ) (2022-11-07T21:02:23Z) - Lexical Generalization Improves with Larger Models and Longer Training [42.024050065980845]
本稿では,自然言語推論,パラフレーズ検出,読解理解における語彙重なりの活用について分析する。
より大型のモデルでは、語彙的な重複を採用することへの感受性がはるかに低いことが分かりました。
論文 参考訳(メタデータ) (2022-10-23T09:20:11Z) - Identification of Biased Terms in News Articles by Comparison of
Outlet-specific Word Embeddings [9.379650501033465]
我々は2つの単語埋め込みモデルを訓練し、1つは左翼のテキストで、もう1つは右翼のニュースメディアで訓練する。
我々の仮説は、単語の埋め込み空間における表現は、偏りのある単語よりも非偏りのある単語に類似している、というものである。
本稿では,単語の埋め込みによって測定されたバイアス語の文脈を詳細に考察する。
論文 参考訳(メタデータ) (2021-12-14T13:23:49Z) - Does referent predictability affect the choice of referential form? A
computational approach using masked coreference resolution [10.73926355134268]
本稿では,参照予測可能性の新しい計算量を用いた参照表現のダイナミクスについて検討する。
モデル出力と参照形式の関係に関する統計的分析は、予測可能性が参照の形式に影響を与えるという仮説を支持する。
論文 参考訳(メタデータ) (2021-09-27T14:54:46Z) - The Emergence of the Shape Bias Results from Communicative Efficiency [91.20759005330541]
2歳までには、子どもたちは、新しい単語カテゴリーは、色やテクスチャではなく、オブジェクトの形状に基づいていると仮定する傾向にある。
本稿では,エージェントによる効率的なコミュニケーション戦略の結果,形状バイアスが出現することを示す。
コミュニケーションの必要性によって引き起こされるプレッシャーも、世代にわたって持続する上で必要であることを示す。
論文 参考訳(メタデータ) (2021-09-13T18:05:59Z) - Disambiguatory Signals are Stronger in Word-initial Positions [48.18148856974974]
単語の初期と後期のセグメントの情報を比較するための既存の手法の相違点を指摘する。
何百もの言語にまたがって、言葉で情報を読み込むという言語横断的な傾向があるという証拠が見つかりました。
論文 参考訳(メタデータ) (2021-02-03T18:19:16Z) - Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。
我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。
実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文 参考訳(メタデータ) (2020-09-27T02:13:38Z) - Where New Words Are Born: Distributional Semantic Analysis of Neologisms
and Their Semantic Neighborhoods [51.34667808471513]
分散意味論のパラダイムで定式化されたセマンティック隣人のセマンティック・スパシティと周波数成長率という2つの要因の重要性について検討する。
いずれの因子も単語の出現を予測できるが,後者の仮説はより支持される。
論文 参考訳(メタデータ) (2020-01-21T19:09:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。