論文の概要: From Formal Language Theory to Statistical Learning: Finite Observability of Subregular Languages

• arxiv url: http://arxiv.org/abs/2509.22598v1
• Date: Fri, 26 Sep 2025 17:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.611049
• Title: From Formal Language Theory to Statistical Learning: Finite Observability of Subregular Languages
• Title（参考訳）: 形式言語理論から統計的学習へ:サブレギュラー言語の有限可観測性
• Authors: Katsuhiko Hayashi, Hidetaka Kamigaito,
• Abstract要約: 我々は,すべての標準正規言語クラスが決定述語で表される場合,線形に分離可能であることを証明した。 合成実験は、雑音のない条件下での完全分離性を確認し、一方、英語形態学における実データ実験は、学習された特徴がよく知られた言語的制約と一致することを示した。
• 参考スコア（独自算出の注目度）: 34.42559541958844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove that all standard subregular language classes are linearly separable when represented by their deciding predicates. This establishes finite observability and guarantees learnability with simple linear models. Synthetic experiments confirm perfect separability under noise-free conditions, while real-data experiments on English morphology show that learned features align with well-known linguistic constraints. These results demonstrate that the subregular hierarchy provides a rigorous and interpretable foundation for modeling natural language structure. Our code used in real-data experiments is available at https://github.com/UTokyo-HayashiLab/subregular.
• Abstract（参考訳）: 我々は,すべての標準正規言語クラスが決定述語で表される場合,線形に分離可能であることを証明した。 これは有限可観測性を確立し、単純な線形モデルで学習可能性を保証する。 合成実験は、雑音のない条件下での完全分離性を確認し、一方、英語形態学における実データ実験は、学習された特徴がよく知られた言語的制約と一致することを示した。 これらの結果から, サブレギュラー階層は, 自然言語構造をモデル化するための厳密かつ解釈可能な基盤を提供することが示された。 実データ実験で使用されるコードはhttps://github.com/UTokyo-HayashiLab/subregular.comで公開されています。

関連論文リスト

• Unnatural Languages Are Not Bugs but Features for LLMs [92.8332103170009]
  大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
  論文  参考訳（メタデータ） (2025-03-02T12:10:17Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Slaves to the Law of Large Numbers: An Asymptotic Equipartition Property for Perplexity in Generative Language Models [0.0]
  言語モデルにより生成された大きなテキストの対数的パープレキシティは、トークン分布の平均エントロピーに収束しなければならないことを示す。 これは、言語モデルによって生成される全ての長い合成テキストが属しなければならない典型的な集合'を定義する。
  論文  参考訳（メタデータ） (2024-05-22T16:23:40Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• A Neural Model for Regular Grammar Induction [8.873449722727026]
  我々は文法を計算のモデルとして扱い、正および負の例から正規文法を誘導する新しいニューラルアプローチを提案する。 我々のモデルは完全に説明可能であり、その中間結果は部分解析として直接解釈可能であり、十分なデータが得られると任意の正規文法を学習することができる。
  論文  参考訳（メタデータ） (2022-09-23T14:53:23Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns [9.031827448667086]
  我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。 モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
  論文  参考訳（メタデータ） (2022-01-19T14:15:41Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。