論文の概要: The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models

• arxiv url: http://arxiv.org/abs/2606.13993v1
• Date: Fri, 12 Jun 2026 00:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.69247
• Title: The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models
• Title（参考訳）: テキストベースおよび音声ベース言語モデルにおける動詞+アップ句の完全保存
• Authors: Zachary Nicholas Houghton, Yu Zhou, Dan Pluth, Vijay K. Gurbani,
• Abstract要約: 総ストレージは周波数と予測可能性によって駆動される。 全てのモデルは、周波数と予測可能性によって駆動される総体的記憶の証拠を示し、言語の使用に基づく理論をさらに支持している。
• 参考スコア（独自算出の注目度）: 2.835219195516112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A crucial aspect of linguistic capability is the ability to trade off between stored representations and abstract knowledge: one must retrieve learned representations, but also generate novel ones by applying productive rules. While recent work has examined abstract knowledge in language models, holistic storage of multi-word units has received far less attention. We probe internal representations in text-based LLMs and an ASR model, testing whether V+up phrasal verbs develop distinct representations as a function of frequency and predictability. All models show evidence of holistic storage driven by frequency and predictability, further supporting usage-based theories of language.
• Abstract（参考訳）: 言語能力の重要な側面は、記憶された表現と抽象的な知識を交換する能力である。 近年、言語モデルにおける抽象的な知識について研究されているが、多語単位の全体的記憶はそれほど注目されていない。 テキストベースLLMとASRモデルにおける内部表現を探索し、V+up phrasal動詞が周波数と予測可能性の関数として異なる表現を発達させるかどうかを検証した。 全てのモデルは、周波数と予測可能性によって駆動される総体的記憶の証拠を示し、言語の使用に基づく理論をさらに支持している。

関連論文リスト

• LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Encoder [47.81850176849213]
  スパースオートエンコーダ(SAE)に基づく大規模言語モデルの言語メカニズム解析のためのフレームワークを提案する。 我々は4次元(形態学、構文学、意味論、プラグマティクス)にわたる中国語と英語の言語的特徴を幅広く抽出する。 本研究は, LLMにおける言語知識の内在的表現, 層間および言語間分布のパターンを明らかにし, モデル出力の制御の可能性を示した。
  論文  参考訳（メタデータ） (2025-02-27T18:16:47Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation [2.28438857884398]
  いわゆる潜在言語仮説(LLH)について検討する。 LLHは言語表現学習を、知覚のモダリティ内および横断的な一般的な予測処理に結びつける。 我々は、様々なニューラルネットワークモデルを用いた広範学習シミュレーションにおけるLLHをさらに探求する。
  論文  参考訳（メタデータ） (2021-09-29T05:49:46Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• A learning perspective on the emergence of abstractions: the curious case of phonemes [2.580765958706854]
  言語訓練のない言語使用者を対象に,言語知識の発達に関する2つの原則を検証した。 MBL と ECL が言語抽象化に類似した言語知識を創出できるかどうかを調査した。 ECL学習モデルは抽象化を学習でき、少なくとも携帯電話の在庫の少なくとも一部を入力から確実に識別できることを示す。
  論文  参考訳（メタデータ） (2020-12-14T13:33:34Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。