論文の概要: The Learning Objective Governs Perceptual Narrowing: A Cross-Lingual, Layer-Wise, Ten-Seed Study of Self-Supervised Speech Encoders

• arxiv url: http://arxiv.org/abs/2608.00507v1
• Date: Sat, 01 Aug 2026 08:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.730058
• Title: The Learning Objective Governs Perceptual Narrowing: A Cross-Lingual, Layer-Wise, Ten-Seed Study of Self-Supervised Speech Encoders
• Title（参考訳）: 知覚的ナローリングを学習する目的語:自己監督型音声エンコーダの言語間・層間・十進的研究
• Abstract要約: 子ども向け・読み上げ音声でトランスフォーマーエンコーダを訓練し、英語、フランス語、マンダリンの音素ABXを10種で評価する。 アーキテクチャではなく,目的が狭い形状の表現的変化の1次決定因子である,と結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Perceptual narrowing---the developmental loss of non-native phoneme discrimination in the first year of life \citep{werker1984}---is a canonical developmental finding, yet \emph{what learning objective produces it} remains open. We train a \(\sim\)7\,M-parameter Transformer encoder on child-directed and read speech and evaluate phoneme ABX in English, French, and Mandarin over ten seeds, the seed as the unit of replication. Six results. \textbf{(1)}~The objective sets the direction of cross-lingual transfer: reconstruction (masked mel-prediction) degrades non-native discrimination, prediction (frame-contrastive) improves it---a same-encoder, same-data gap of \(+0.051\) in first-layer Mandarin ABX (\(p=3\times10^{-8}\)), unanimous in sign across twenty runs. \textbf{(2)}~That decline combines a large arm-intrinsic difficulty gradient with a smaller language-specialization effect (matched vs.\ mismatched \(+0.022\), \(p=10^{-4}\), all four layers). \textbf{(3)}~Against a language-symmetric raw-mel floor, reconstruction pushes the first layer \emph{below} the discriminability of its input; prediction pushes it \emph{above}. \textbf{(4)}~Read speech gives a \(3.6\times\) steeper non-native decline than child-directed speech. \textbf{(5)}~The customary three-seed budget cannot see this reliably: an effect unambiguous at ten seeds is called significant by as few as 70\% of three-seed subsets. \textbf{(6)}~Six objective configurations---sharpening, compression, consolidation, their composition, and word-level semantic grounding in two forms---fail to produce the full developmental signature (native improves \emph{and} non-native declines): a single objective moves both languages the same way because it acts on a shared representation. We conclude that the objective, not the architecture, is the first-order determinant of narrowing-shaped representational change.
• Abstract（参考訳）: 知覚的狭化--人生初年度における非ネイティブ音素識別の発達的喪失--標準的発達の発見であるが、それを生み出す学習目的である「emph{what」は依然としてオープンである。 子指向・読み上げ音声に \(\sim\)7\,M-parameter Transformer エンコーダをトレーニングし,英語,フランス語,マンダリンの音素 ABX を10種で評価し,その種子を複製単位とした。 6つの結果。 再構築 (masked mel-prediction) は非ネイティブな差別を低下させ、予測 (frame-contrastive) はそれを改善します。----- 第一層Mandarin ABX (\(p=3\times10^{-8}\) において、同じエンコーダ、同じデータギャップである \(+0.051\) は、20ランにわたって一様である。 That decline is a large arm-intrinsic difficulty gradient with a small language-specialization effect (matched vs。 四層とも不一致 \(+0.022\), \(p=10^{-4}\)。 言語対称の生メルフロアにおいて、再構成は第1の層 \emph{below} に入力の識別可能性を押し付け、予測はそれを \emph{above} にプッシュする。 textbf{(4)}~Read 音声は、子指向の音声よりも、(3.6\times\) の急激な非ネイティブの減少を与える。 10個の種子に対する不明瞭な効果は、70 %の3つの種子サブセットによって著しく評価される。 Six objective configurations---sharpening, compression, consolidation, their composition, and word-level semantic grounding in two form---fail to produce the full developmental signature (native improves \emph{and} non-native declines): a single objective move both language because it act on a shared representation。 アーキテクチャではなく,目的が狭い形状の表現的変化の1次決定因子である,と結論付けている。

関連論文リスト

• Write-Protected Discrete Bottlenecks for Language-Grounded World Models: A Structural Limitation and Sufficient Fix [0.0]
  我々は,Gumbel-softmaxベースの離散シンボルボトルネックの故障を防止するための3つの制約セットを特徴付ける。 3つのエンコーダアーキテクチャで79-100%のセマンティックバインディングを実現し,32種すべてにゼロシンボル崩壊を示す。
  論文  参考訳（メタデータ） (2026-07-09T09:55:17Z)
• DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation [20.845447775728545]
  大型の言語モデルは、方言の英語を理解しやすくするが、それでも標準のアメリカ英語のみを生産する。 我々は、国際英語コーパスにおいて、3つのオープンウェイト言語モデルファミリーを継続的に事前訓練するtextbfDiaLLMを紹介した。
  論文  参考訳（メタデータ） (2026-07-08T17:24:27Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Language-Conditioned Visual Grounding with CLIP Multilingual [0.0]
  言語間の相違は、視覚エンコーダ、テキストブランチ、またはそれらの相互作用から生じる可能性がある。 この曖昧さを高密度多言語CLIPプローブを用いて解決し、視覚エンコーダを13言語で同一に保持する。
  論文  参考訳（メタデータ） (2026-05-09T17:06:16Z)
• Bilingual Text-to-Motion Generation: A New Benchmark and Baselines [52.71312720094036]
  LLMアノテーションと厳密な手動修正によって構築されたバイリンガルテキスト・モーション・ベンチマークであるBiHumanML3Dを紹介する。 また,CLA(Cross-Lingual Alignment)を用いたバイリンガルモーション拡散合成(BiMD)を提案する。 CLA を用いた BiMD は 0.045 対 0.169 対 R@3 対 80.8% の FID を達成し、単言語拡散モデルと BiHumanML3D の翻訳ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-26T08:48:27Z)
• Beyond Cosine Similarity: Taming Semantic Drift and Antonym Intrusion in a 15-Million Node Turkish Synonym Graph [0.0]
  この問題を解決するために,我々は大規模セマンティッククラスタリングシステムを構築している。 我々は,同義語,無調語,同調語にまたがる843,000のコンセプトペアのラベル付きデータセットを紹介した。 第2に、90%のマクロF1を達成する3方向意味論的判別器を提案する。 第3に,ポリセミーを同時に解きながらセマンティックドリフトを緩和するソフト・ハード・クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-19T17:37:25Z)
• Fundamental Principles of Linguistic Structure are Not Represented by o3 [3.335047764053173]
  O3モデルは基本的なフレーズ構造規則を一般化できない。 正しく評価し、アクセプタビリティのダイナミクスを説明するのに失敗する。 受け入れられないセマンティクスを生成する命令と受け入れられない構文出力を生成する命令を区別できない。
  論文  参考訳（メタデータ） (2025-02-15T23:53:31Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Pairwise Supervised Contrastive Learning of Sentence Representations [20.822509446824125]
  PairSupConは、セマンティックエンターメントと矛盾理解を高レベルのカテゴリ概念エンコーディングにブリッジすることを目的としている。 異なる粒度の文意味論の理解に関わる様々な下流タスクで評価する。
  論文  参考訳（メタデータ） (2021-09-12T04:12:16Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。