論文の概要: Congruence-based Learning of Probabilistic Deterministic Finite Automata

• arxiv url: http://arxiv.org/abs/2412.09760v1
• Date: Thu, 12 Dec 2024 23:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:06.626319
• Title: Congruence-based Learning of Probabilistic Deterministic Finite Automata
• Title（参考訳）: 確率論的決定論的有限オートマタの合同学習
• Authors: Matías Carrasco, Franz Mayr, Sergio Yovine,
• Abstract要約: 形式言語に対する古典的なミヒル・ネロデ合同を拡張した合同を導入する。 この新たな合同性は、言語モデルに対する規則性を定義する基盤となる。 本稿では,言語モデルが正規化されるたびに,この一致に関する商を計算する能動的学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This work studies the question of learning probabilistic deterministic automata from language models. For this purpose, it focuses on analyzing the relations defined on algebraic structures over strings by equivalences and similarities on probability distributions. We introduce a congruence that extends the classical Myhill-Nerode congruence for formal languages. This new congruence is the basis for defining regularity over language models. We present an active learning algorithm that computes the quotient with respect to this congruence whenever the language model is regular. The paper also defines the notion of recognizability for language models and shows that it coincides with regularity for congruences. For relations which are not congruences, it shows that this is not the case. Finally, it discusses the impact of this result on learning in the context of language models.
• Abstract（参考訳）: 本研究は,言語モデルから確率論的決定論的オートマトンを学習する問題を研究する。 この目的のために、弦上の代数構造に定義された関係を、確率分布の同値性と類似性によって解析することに焦点を当てている。 形式言語に対する古典的なミヒル・ネロデ合同を拡張した合同を導入する。 この新たな合同性は、言語モデルに対する規則性を定義する基盤となる。 本稿では,言語モデルが正規化されるたびに,この一致に関する商を計算する能動的学習アルゴリズムを提案する。 また,言語モデルに対する認識可能性の概念を定義し,一貫性の規則性と一致することを示す。 一致しない関係については、これはそうではないことを示す。 最後に、この結果が言語モデルの文脈における学習に与える影響について論じる。

関連論文リスト

• Are LLMs Models of Distributional Semantics? A Case Study on Quantifiers [14.797001158310092]
  分布意味論モデルは真理条件推論や記号処理に苦しむ。 期待とは対照的に、LSMは正確な量化器とあいまいな量化器の人間の判断とより密接に一致している。
  論文  参考訳（メタデータ） (2024-10-17T19:28:35Z)
• Are language models rational? The case of coherence norms and belief revision [63.78798769882708]
  我々は、論理的コヒーレンス規範と、言語モデルにおける信念の強さに結びついたコヒーレンス規範を考察する。 コヒーレンスに結びついた有理ノルムはいくつかの言語モデルに適用できるが、他のモデルには適用されない。
  論文  参考訳（メタデータ） (2024-06-05T16:36:21Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• A Measure-Theoretic Characterization of Tight Language Models [105.16477132329416]
  病理学的には「確率質量」が無限列の集合に漏れることがある。 本稿では,言語モデリングの尺度論的扱いについて述べる。 多くのポピュラーな言語モデルファミリーが実際に密接な関係にあることを証明しています。
  論文  参考訳（メタデータ） (2022-12-20T18:17:11Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Montague semantics and modifier consistency measurement in neural language models [13.187353456418204]
  本研究は,現代言語埋め込みモデルにおける構成行動を測定する新しい手法を提案する。 具体的には,形容詞・名詞句における形容詞修飾子現象に着目した。
  論文  参考訳（メタデータ） (2022-10-10T18:43:16Z)
• Universality and diversity in word patterns [0.0]
  本稿では,11言語を対象とした語彙統計関係の分析を行う。 言語が単語関係を表現するために利用する多種多様な方法が、ユニークなパターン分布を生み出していることがわかった。
  論文  参考訳（メタデータ） (2022-08-23T20:03:27Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
  言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。 言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。 単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
  論文  参考訳（メタデータ） (2020-11-22T17:28:50Z)
• Model-theoretic Characterizations of Existential Rule Languages [9.845164265154832]
  既存のルール、すなわちデータベースへの依存は、コンピュータ科学や人工知能で広く使われている重要な論理言語群である。 本稿では, 既存ルール言語(例えば, 分割型) 組み込み依存性, 依存関係の生成 (TGD) , フェデリアガード付きTGD, 線形TGDなど) について, モデル理論的特徴付けを行う。 これらの特徴付けの自然な応用として、上記の言語の書き換え可能性に関する複雑性境界も同定される。
  論文  参考訳（メタデータ） (2020-01-23T17:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。