論文の概要: Learning Languages in the Limit from Positive Information with Finitely Many Memory Changes

• arxiv url: http://arxiv.org/abs/2010.04782v3
• Date: Thu, 17 Jun 2021 12:52:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 06:36:05.329142
• Title: Learning Languages in the Limit from Positive Information with Finitely Many Memory Changes
• Title（参考訳）: 有限個の記憶変化を伴う正の情報からの極限的言語学習
• Authors: Timo K\"otzing, Karen Seidel
• Abstract要約: 非U字型性は制限的ではなく、保守性や(強い)単調性は制限的であることを示す。 また,2つの設定が異なる非意味的制約(強い非U字型性)の例を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate learning collections of languages from texts by an inductive inference machine with access to the current datum and a bounded memory in form of states. Such a bounded memory states (BMS) learner is considered successful in case it eventually settles on a correct hypothesis while exploiting only finitely many different states. We give the complete map of all pairwise relations for an established collection of criteria of successfull learning. Most prominently, we show that non-U-shapedness is not restrictive, while conservativeness and (strong) monotonicity are. Some results carry over from iterative learning by a general lemma showing that, for a wealth of restrictions (the semantic restrictions), iterative and bounded memory states learning are equivalent. We also give an example of a non-semantic restriction (strongly non-U-shapedness) where the two settings differ.
• Abstract（参考訳）: 帰納的推論マシンを用いてテキストから言語の集合を学習し、状態の形で現在のデータムと境界メモリにアクセスする。 このような境界記憶状態(BMS)学習者は、有限個の異なる状態のみを利用しながら、最終的に正しい仮説に落ち着く場合、成功すると考えられる。 我々は、確立された成功学習の基準の集合のために、すべての対関係の完全なマップを与える。 最も顕著に、非U字型性は制限的ではなく、保守性や(強い)単調性は制限的である。 いくつかの結果は、多くの制限(意味的制約)に対して、反復的および境界付きメモリ状態学習が同等であることを示す一般的な補題による反復的学習から継承される。 また、2つの設定が異なる非意味的制約(強い非u型性)の例を示す。

関連論文リスト

• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• Language learnability in the limit for general metrics: a Gold-Angluin result [91.3755431537592]
  我々は、blum and blum (1975) によるniyogi の拡張版の定理を用いて、任意の計量における任意の言語族の極限における学習可能性に必要な条件を証明している。 言語ファミリーがさらにすべての有限言語を含むと仮定すると、同じ条件は限界における学習可能性にも十分になる。
  論文  参考訳（メタデータ） (2021-03-24T13:11:09Z)
• Multi-Adversarial Learning for Cross-Lingual Word Embeddings [19.407717032782863]
  言語間単語の埋め込みを誘導する新しい手法を提案する。 複数のマッピングを通じてシード言語間の辞書を誘導し、それぞれが1つの部分空間のマッピングに適合するように誘導される。 教師なしバイリンガルレキシコン誘導実験により, 従来のシングルマッピング法よりも性能が向上することが示された。
  論文  参考訳（メタデータ） (2020-10-16T14:54:28Z)
• Maps for Learning Indexable Classes [1.2728819383164875]
  学習者が仮説空間を自由に選択できる正のデータから、索引付き家族の学習を研究する。 一貫性、保守性、セット駆動性など、学習に対するさまざまな制限に興味があります。
  論文  参考訳（メタデータ） (2020-10-15T09:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。