Fugu-MT 論文翻訳(概要): Subword models struggle with word learning, but surprisal hides it

論文の概要: Subword models struggle with word learning, but surprisal hides it

arxiv url: http://arxiv.org/abs/2502.12835v1
Date: Tue, 18 Feb 2025 13:09:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 14:02:49.053074
Title: Subword models struggle with word learning, but surprisal hides it
Title（参考訳）: サブワードモデルは単語学習に苦戦するが、それを隠す
Authors: Bastian Bunzeck, Sina Zarrieß,
Abstract要約: 単語と文字のモデルにおける単語学習を,心理言語学的語彙決定タスクを用いて研究する。サブワードLMは高い精度で単語や非単語を識別するのに苦労するが、文字LMはこの課題を簡単かつ一貫して解決する。
参考スコア（独自算出の注目度）: 8.883534683127415
License:
Abstract: We study word learning in subword and character language models with the psycholinguistic lexical decision task. While subword LMs struggle to discern words and non-words with high accuracy, character LMs solve this task easily and consistently. Furthermore, when comparing word learning and syntactic learning, both processes are separable in character LM where word learning predates syntactic learning, whereas these processes are simultaneous in subword LM. This raises questions about the adequacy of subword LMs for modeling language acquisition and positions character LMs as a viable alternative.
Abstract（参考訳）: 単語と文字のモデルにおける単語学習を,心理言語学的語彙決定タスクを用いて研究する。サブワードLMは高い精度で単語や非単語を識別するのに苦労するが、文字LMはこの課題を簡単かつ一貫して解決する。さらに、単語学習と構文学習を比較する際には、単語学習が構文学習に先行する文字LMでは、両方のプロセスが分離可能であるのに対し、これらのプロセスはサブワードLMでは同時に行われる。これにより、言語習得のためのサブワードLMの妥当性に関する疑問が持ち上がり、キャラクタLMを実行可能な代替品として位置づける。

関連論文リスト

From Tokens to Words: On the Inner Lexicon of LLMs [7.148628740938674]
自然言語は単語から成り立っているが、現代のLLMはサブワードを入力として処理する。本稿では,LLMが単語列をコヒーレントな単語表現に結合する固有デトケン化過程に関与することを示す。以上の結果から, LLMはトークン化のスコープを超えて, 潜在語彙を保っていることが示唆された。
論文参考訳（メタデータ） (2024-10-08T09:53:35Z)
PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
論文参考訳（メタデータ） (2024-04-03T04:53:14Z)
Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
論文参考訳（メタデータ） (2024-01-31T18:48:20Z)
Automating Knowledge Acquisition for Content-Centric Cognitive Agents Using LLMs [0.0]
本稿では,知的エージェントのセマンティックレキシコンにおける新たなエントリの自動学習を支援するために,大規模言語モデル(LLM)技術を利用するシステムについて述べる。このプロセスは、既存の非トイ辞書と、意味の形式的、存在論的に接地された表現を自然言語文に変換する自然言語生成装置によってブートストラップされる。
論文参考訳（メタデータ） (2023-12-27T02:31:51Z)
Word Embeddings Are Steers for Language Models [57.83026781380927]
このようなステアをLM-Steersと呼び、すべてのサイズのLMに存在するものを見つけます。言語モデルのデトックス化や感情制御といったタスクでは、LM-Steersは同等または優れたパフォーマンスを達成することができる。 LM-Steerは明示的な形式計算により異なる言語モデル間で転送可能である。
論文参考訳（メタデータ） (2023-05-22T07:52:04Z)
Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文参考訳（メタデータ） (2023-04-26T19:55:52Z)
Syllable Subword Tokens for Open Vocabulary Speech Recognition in Malayalam [2.7823528791601695]
語彙発音(PL)と言語モデル(LM)は、音声単語列を正しく検索するために不可欠である。形態学的に複雑な言語であるため、マラヤラムの語彙は非常に巨大であり、様々な語形をカバーするPLとLMを構築することは不可能である。 PLとLMを構築するためにサブワードトークンを使用し、デコード後に単語を形成するためにそれらを組み合わせて、多くの語彙単語の回復を可能にする。
論文参考訳（メタデータ） (2023-01-17T07:29:47Z)
Extensible Prompts for Language Models on Zero-shot Language Style Customization [89.1622516945109]
X-Promptは、自然言語(NL)を超えた大きな言語モデル(LLM)を指示する新しい想像的単語を登録することで、LLMにNL単語で記述するのが難しい概念を理解するよう指示することができる。これらの虚構語は、様々なプロンプトでNL語のように(再)使用できるように、分布外頑健であるように設計されている。
論文参考訳（メタデータ） (2022-12-01T16:11:56Z)
Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
論文参考訳（メタデータ） (2022-06-07T16:16:19Z)
Subword Mapping and Anchoring across Languages [1.9352552677009318]
SMALA (Subword Mapping and Anchoring across Languages) は、バイリンガルなサブワード語彙を構築する方法である。 SMALAは教師なしの最先端マッピング技術を用いてサブワードアライメントを抽出する。 SMALAで獲得した単語語彙は,多くの偽陽性と偽陰性を含む文のBLEUスコアが高くなることを示す。
論文参考訳（メタデータ） (2021-09-09T20:46:27Z)
Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction [12.376752724719005]
言語に依存しないトークン化(LIT)メソッドはラベル付き言語リソースや語彙を必要としない。言語固有のトークン化(LST)手法は、長い歴史と確立された歴史を持ち、慎重に作成された語彙とトレーニングリソースを用いて開発されている。意味的類似度測定を多種多様な言語を対象とした評価課題として用いた2つの手法を実証的に比較した。
論文参考訳（メタデータ） (2020-02-25T16:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。