論文の概要: The advent and fall of a vocabulary learning bias from communicative efficiency

• arxiv url: http://arxiv.org/abs/2105.11519v1
• Date: Mon, 24 May 2021 20:13:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 13:55:11.254651
• Title: The advent and fall of a vocabulary learning bias from communicative efficiency
• Title（参考訳）: コミュニケーション効率からの語彙学習バイアスの出現と転落
• Authors: David Carrera-Casado and Ramon Ferrer-i-Cancho
• Abstract要約: 幼児の場合、新しい単語に遭遇すると、語彙にまだ単語がない意味にそれを付加する傾向がある。 ここでは、Zipfの意味周波数法則を再現するためにチャネル化されたモデルの一般化を考える。 新しいモデルの解析により、高齢者や多言語児のバイアスの弱体化や喪失とともに、バイアスが一貫して消失する位相空間の領域が明らかになった。
• 参考スコア（独自算出の注目度）: 1.2944868613449219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that, when sufficiently young children encounter a new word, they tend to attach it to a meaning that does not have a word yet in their lexicon. In previous research, the strategy was shown to be optimal from an information theoretic standpoint. However, the information theoretic model employed neither explains the weakening of that vocabulary learning bias in older children or polylinguals nor reproduces Zipf's meaning-frequency law, namely the non-linear relationship between the number of meanings of a word and its frequency. Here we consider a generalization of the model that is channeled to reproduce that law. The analysis of the new model reveals regions of the phase space where the bias disappears consistently with the weakening or loss of the bias in older children or polylinguals. In the deep learning era, the model is a transparent low-dimensional tool for future experimental research and illustrates the predictive power of a theoretical framework originally designed to shed light on the origins of Zipf's rank-frequency law.
• Abstract（参考訳）: 十分に幼い子どもが新しい単語に遭遇すると、語彙に語が存在しない意味にアタッチする傾向があることはよく知られている。 これまでの研究では,戦略は情報理論の観点から最適であることが示されている。 しかし、情報理論モデルは、高齢者や多言語話者における語彙学習バイアスの弱さを説明せず、zipfの意味周波数法則、すなわち単語の意味の数と頻度の間の非線形関係を再現するものではない。 ここでは、その法則を再現するためにチャネルされるモデルの一般化を考える。 新たなモデルの解析により,高齢者や多言語系におけるバイアスの弱化や消失に伴い,バイアスが一貫して消失する相空間の領域が明らかになった。 ディープラーニング時代において、このモデルは将来の実験研究のための透明な低次元ツールであり、Zipfのランク周波数法則の起源に光を当てるために設計された理論フレームワークの予測力を示す。

関連論文リスト

• Zipfian Whitening [7.927385005964994]
  埋め込み空間の対称性をモデル化、修正、測定するためのほとんどのアプローチは、単語の周波数が一様であることを暗黙的に仮定する。 実際、単語頻度はZipfの法則として知られる非常に一様でない分布に従う。 Zipfの法則に従う経験的単語頻度によって重み付けされたPCA白化を行うことでタスク性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-11-01T15:40:19Z)
• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Visually Grounded Speech Models have a Mutual Exclusivity Bias [20.495178526318185]
  子どもが新しい単語を学ぶ際には、相互排他性(ME)バイアスのような制約を用いる。 このバイアスは計算学的に研究されてきたが、個々の単語表現を入力として使用するモデルでのみ研究されている。 自然画像と連続音声から学習する視覚的接地音声モデルの文脈におけるMEバイアスについて検討する。
  論文  参考訳（メタデータ） (2024-03-20T18:49:59Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Large Language Models Are Partially Primed in Pronoun Interpretation [6.024776891570197]
  大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。 最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。 InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
  論文  参考訳（メタデータ） (2023-05-26T13:30:48Z)
• Identification of Biased Terms in News Articles by Comparison of Outlet-specific Word Embeddings [9.379650501033465]
  我々は2つの単語埋め込みモデルを訓練し、1つは左翼のテキストで、もう1つは右翼のニュースメディアで訓練する。 我々の仮説は、単語の埋め込み空間における表現は、偏りのある単語よりも非偏りのある単語に類似している、というものである。 本稿では,単語の埋め込みによって測定されたバイアス語の文脈を詳細に考察する。
  論文  参考訳（メタデータ） (2021-12-14T13:23:49Z)
• Does referent predictability affect the choice of referential form? A computational approach using masked coreference resolution [10.73926355134268]
  本稿では,参照予測可能性の新しい計算量を用いた参照表現のダイナミクスについて検討する。 モデル出力と参照形式の関係に関する統計的分析は、予測可能性が参照の形式に影響を与えるという仮説を支持する。
  論文  参考訳（メタデータ） (2021-09-27T14:54:46Z)
• The Emergence of the Shape Bias Results from Communicative Efficiency [91.20759005330541]
  2歳までには、子どもたちは、新しい単語カテゴリーは、色やテクスチャではなく、オブジェクトの形状に基づいていると仮定する傾向にある。 本稿では,エージェントによる効率的なコミュニケーション戦略の結果,形状バイアスが出現することを示す。 コミュニケーションの必要性によって引き起こされるプレッシャーも、世代にわたって持続する上で必要であることを示す。
  論文  参考訳（メタデータ） (2021-09-13T18:05:59Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods [51.34667808471513]
  分散意味論のパラダイムで定式化されたセマンティック隣人のセマンティック・スパシティと周波数成長率という2つの要因の重要性について検討する。 いずれの因子も単語の出現を予測できるが,後者の仮説はより支持される。
  論文  参考訳（メタデータ） (2020-01-21T19:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。