論文の概要: Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction

• arxiv url: http://arxiv.org/abs/2407.16181v1
• Date: Tue, 23 Jul 2024 04:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:35:54.537663
• Title: Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction
• Title（参考訳）: 教師なしニューラル文法誘導における構造最適化の曖昧性と単純性バイアス
• Authors: Jinwook Park, Kangil Kim,
• Abstract要約: 我々の研究は、よりコンパクトで正確で一貫した明示的な文法の学習を促進し、より良い解釈可能性を促進する。 教師なし解析ベンチマークテストでは,過度に単純化された解析に対するバイアスを低減しつつ,性能を著しく改善する。
• 参考スコア（独自算出の注目度）: 2.3020018305241337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural parameterization has significantly advanced unsupervised grammar induction. However, training these models with a traditional likelihood loss for all possible parses exacerbates two issues: 1) $\textit{structural optimization ambiguity}$ that arbitrarily selects one among structurally ambiguous optimal grammars despite the specific preference of gold parses, and 2) $\textit{structural simplicity bias}$ that leads a model to underutilize rules to compose parse trees. These challenges subject unsupervised neural grammar induction (UNGI) to inevitable prediction errors, high variance, and the necessity for extensive grammars to achieve accurate predictions. This paper tackles these issues, offering a comprehensive analysis of their origins. As a solution, we introduce $\textit{sentence-wise parse-focusing}$ to reduce the parse pool per sentence for loss evaluation, using the structural bias from pre-trained parsers on the same dataset. In unsupervised parsing benchmark tests, our method significantly improves performance while effectively reducing variance and bias toward overly simplistic parses. Our research promotes learning more compact, accurate, and consistent explicit grammars, facilitating better interpretability.
• Abstract（参考訳）: ニューラルパラメタライゼーションは、教師なし文法誘導を著しく進歩させた。 しかしながら、可能なすべてのパースに対して従来の可能性損失でこれらのモデルをトレーニングすることは、以下の2つの問題を悪化させる。 1)$\textit{structureural optimization ambiguity}$ 構造的に曖昧な最適文法のうち1つを任意に選択する。 2$\textit{structureural simplicity bias}$は、パースツリーを構成するためにルールを未使用のモデルに導く。 これらの課題は、予測エラーを避けるために教師なしの神経文法誘導(UNGI)、高精度な予測を実現するための広範囲な文法の必要性である。 本稿では,これらの課題に対処し,その起源を包括的に分析する。 そこで本研究では, 文ごとのパースプールを減らし, 損失評価を行うために, 事前学習したパーサの構造バイアスを用いて$\textit{sentence-wise parse-focusing}$を導入する。 教師なし解析ベンチマークテストでは,過度に単純化された解析に対する分散と偏りを効果的に低減し,性能を著しく向上する。 我々の研究は、よりコンパクトで正確で一貫した明示的な文法の学習を促進し、より良い解釈可能性を促進する。

関連論文リスト

• On Eliciting Syntax from Language Models via Hashing [19.872554909401316]
  教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。 本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。 本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
  論文  参考訳（メタデータ） (2024-10-05T08:06:19Z)
• Incremental Context-free Grammar Inference in Black Box Settings [17.601446198181048]
  ブラックボックスの文脈自由文法推論は多くの実践的な設定において重要な課題である。 そこで本研究では,サンプル文字列をより小さな単位に分割し,文法を漸進的に推論する手法を提案する。 我々の手法であるKedavraは、より優れた文法品質(精度とリコールの強化)、より高速な実行、経験的比較による可読性の向上を実証した。
  論文  参考訳（メタデータ） (2024-08-29T17:00:38Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• On graph-based reentrancy-free semantic parsing [5.228711636020665]
  本論文では,2つの課題を解消する意味解析のためのグラフベースの手法を提案する。 MAP推論と潜在タグアンカリング(弱教師付き学習が要求される)の両方がNPハード問題であることを示す。 本稿では,制約平滑化と条件勾配に基づく2つの最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-15T14:14:09Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• A Neural Model for Regular Grammar Induction [8.873449722727026]
  我々は文法を計算のモデルとして扱い、正および負の例から正規文法を誘導する新しいニューラルアプローチを提案する。 我々のモデルは完全に説明可能であり、その中間結果は部分解析として直接解釈可能であり、十分なデータが得られると任意の正規文法を学習することができる。
  論文  参考訳（メタデータ） (2022-09-23T14:53:23Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Extracting Grammars from a Neural Network Parser for Anomaly Detection in Unknown Formats [79.6676793507792]
  強化学習は、ある未知のフォーマットで文を解析するために、人工知能を訓練する技術として、最近約束されている。 本稿では、ニューラルネットワークから生成規則を抽出し、これらの規則を用いて、ある文が名目か異常かを決定する手順を提案する。
  論文  参考訳（メタデータ） (2021-07-30T23:10:24Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。