論文の概要: RL-GRIT: Reinforcement Learning for Grammar Inference

• arxiv url: http://arxiv.org/abs/2105.13114v1
• Date: Mon, 17 May 2021 23:48:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 08:51:35.315569
• Title: RL-GRIT: Reinforcement Learning for Grammar Inference
• Title（参考訳）: RL-GRIT:文法推論のための強化学習
• Authors: Walt Woods
• Abstract要約: 本稿では,文法推論のための新しいメカニズムであるRL-GRITを提案し,それをデファクトデータ形式理解に適用する。 本研究では,RLを従来の逐次的環境から高度に相互依存的な解析環境に適応させるために必要なアルゴリズム的変化について概説する。
• 参考スコア（独自算出の注目度）: 2.741266294612776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When working to understand usage of a data format, examples of the data format are often more representative than the format's specification. For example, two different applications might use very different JSON representations, or two PDF-writing applications might make use of very different areas of the PDF specification to realize the same rendered content. The complexity arising from these distinct origins can lead to large, difficult-to-understand attack surfaces, presenting a security concern when considering both exfiltration and data schizophrenia. Grammar inference can aid in describing the practical language generator behind examples of a data format. However, most grammar inference research focuses on natural language, not data formats, and fails to support crucial features such as type recursion. We propose a novel set of mechanisms for grammar inference, RL-GRIT, and apply them to understanding de facto data formats. After reviewing existing grammar inference solutions, it was determined that a new, more flexible scaffold could be found in Reinforcement Learning (RL). Within this work, we lay out the many algorithmic changes required to adapt RL from its traditional, sequential-time environment to the highly interdependent environment of parsing. The result is an algorithm which can demonstrably learn recursive control structures in simple data formats, and can extract meaningful structure from fragments of the PDF format. Whereas prior work in grammar inference focused on either regular languages or constituency parsing, we show that RL can be used to surpass the expressiveness of both classes, and offers a clear path to learning context-sensitive languages. The proposed algorithm can serve as a building block for understanding the ecosystems of de facto data formats.
• Abstract（参考訳）: データフォーマットの使用法を理解するために作業する場合、データフォーマットの例は、しばしばフォーマットの仕様よりも代表的である。 例えば、2つの異なるアプリケーションが全く異なるjson表現を使用する場合や、2つのpdfライティングアプリケーションは、同じレンダリングコンテンツを実現するために、pdf仕様のまったく異なる領域を利用する場合があります。 これらの異なる起源から生じる複雑さは、大きな、理解し難い攻撃面をもたらす可能性があるため、外乱とデータ統合失調症の両方を考慮すると、セキュリティ上の懸念が生じる。 文法推論は、データフォーマットの例の背後にある実用的な言語ジェネレータを記述するのに役立つ。 しかし、ほとんどの文法推論研究は、データ形式ではなく自然言語に焦点を当てており、型再帰のような重要な機能をサポートしていない。 本稿では,文法推論のための新しいメカニズムであるRL-GRITを提案し,それをデファクトデータ形式理解に適用する。 既存の文法推論ソリューションをレビューした結果、Reinforcement Learning (RL) において、より柔軟な新しい足場が見つかることが判明した。 本研究では,RLを従来の逐次的環境から高度に相互依存的な解析環境に適応させるために必要なアルゴリズム的変化について概説する。 その結果、単純なデータフォーマットで再帰的制御構造を実証的に学習でき、pdfフォーマットの断片から有意義な構造を抽出することができる。 文法推論における先行研究は正規言語か選挙区解析に焦点をあてたものの,RLは両クラスの表現性を超越し,文脈に敏感な言語を学ぶための明確な道筋を示す。 提案アルゴリズムは,デファクトデータフォーマットのエコシステムを理解するためのビルディングブロックとして機能する。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Unified Text Structuralization with Instruction-tuned Language Models [28.869098023025753]
  テキストから様々な構造を抽出する大規模言語モデル(LLM)を提案する。 実験により、様々な言語や知識のデータセット上で、言語モデルが他の最先端の手法と同等に動作できることが示されている。
  論文  参考訳（メタデータ） (2023-03-27T07:39:05Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Cross-Lingual Adaptation for Type Inference [29.234418962960905]
  弱い型付き言語間で深層学習に基づく型推論を行うための言語間適応フレームワークPLATOを提案する。 強く型付けされた言語からのデータを活用することで、PLATOは、バックボーンのクロスプログラミング言語モデルの難易度を改善する。
  論文  参考訳（メタデータ） (2021-07-01T00:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。