論文の概要: Generalized Optimal Linear Orders

• arxiv url: http://arxiv.org/abs/2108.10692v1
• Date: Fri, 13 Aug 2021 13:10:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-29 15:11:46.679583
• Title: Generalized Optimal Linear Orders
• Title（参考訳）: 一般化された最適線形順序
• Authors: Rishi Bommasani
• Abstract要約: 言語の逐次構造、特に文中の単語の順序は、人間の言語処理において中心的な役割を果たす。 言語の計算モデルの設計において、デファクトのアプローチは、原文と同じ順序で命令された単語を機械に提示することである。 この研究の本質は、これが望ましいという暗黙の仮定を疑問視し、自然言語処理における語順の考慮に理論的健全性を注入することである。
• 参考スコア（独自算出の注目度）: 9.010643838773477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The sequential structure of language, and the order of words in a sentence specifically, plays a central role in human language processing. Consequently, in designing computational models of language, the de facto approach is to present sentences to machines with the words ordered in the same order as in the original human-authored sentence. The very essence of this work is to question the implicit assumption that this is desirable and inject theoretical soundness into the consideration of word order in natural language processing. In this thesis, we begin by uniting the disparate treatments of word order in cognitive science, psycholinguistics, computational linguistics, and natural language processing under a flexible algorithmic framework. We proceed to use this heterogeneous theoretical foundation as the basis for exploring new word orders with an undercurrent of psycholinguistic optimality. In particular, we focus on notions of dependency length minimization given the difficulties in human and computational language processing in handling long-distance dependencies. We then discuss algorithms for finding optimal word orders efficiently in spite of the combinatorial space of possibilities. We conclude by addressing the implications of these word orders on human language and their downstream impacts when integrated in computational models.
• Abstract（参考訳）: 言語の逐次構造、特に文中の単語の順序は、人間の言語処理において中心的な役割を果たす。 したがって、言語の計算モデルの設計において、事実上のアプローチは、原文と同じ順序で命令された単語を機械に提示することである。 この研究の本質は、これが望ましいという暗黙の仮定を疑問視し、自然言語処理における語順の考慮に理論的健全性を注入することである。 本稿では, 認知科学, 心理言語学, 計算言語学, 自然言語処理における単語順の異なる扱いを, 柔軟なアルゴリズムの枠組みで一元化することから始める。 我々は、この異種理論の基礎を、精神言語学的最適性の不足を伴う新しい単語順序の探索の基盤として用いていく。 特に,人間および計算言語処理における長距離依存処理の難しさを考慮すると,依存長最小化の概念に着目する。 次に,可能性の組合せ空間に拘わらず,最適な単語順を求めるアルゴリズムについて論じる。 我々は、これらの単語順序が人間の言語に与える影響と、計算モデルに統合された場合の下流への影響を論じる。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Linguistic Structure from a Bottleneck on Sequential Information Processing [5.850665541267672]
  予測情報によって制約されたコードに自然言語のような体系性が生じることを示す。 人間の言語は、音韻学、形態学、構文学、意味論のレベルにおいて、低い予測情報を持つように構成されている。
  論文  参考訳（メタデータ） (2024-05-20T15:25:18Z)
• Nondeterministic Stacks in Neural Networks [0.456877715768796]
  我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。 また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-25T16:00:40Z)
• Word class representations spontaneously emerge in a deep neural network trained on next word prediction [7.240611820374677]
  人間はどのように言語を学ぶのか、そして、最初の言語は全く学べるのか? これらの基本的な疑問はいまだに熱心に議論されている。 特に、次の単語を予測するために、人工的な深層ニューラルネットワークを訓練する。 その結果,9ワード入力シーケンスの内部表現は10ワードの単語クラスに従ってクラスタ化され,出力として予測されることがわかった。
  論文  参考訳（メタデータ） (2023-02-15T11:02:50Z)
• Categorical Tools for Natural Language Processing [0.0]
  この論文は、圏論と計算言語学の間の翻訳を発展させている。 3章は構文、意味論、実践論を扱う。 結果として生じる関手モデルは、平衡が言語処理タスクの解であるようなゲームを形成するために構成することができる。
  論文  参考訳（メタデータ） (2022-12-13T15:12:37Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Context based lemmatizer for Polish language [0.0]
  レマティゼーション(英: Lemmatization)とは、単語の屈折形をまとめて一つの項目として分析する過程である。 計算言語学において、補題化(英:lemmatisation)とは、単語の補題を決定するアルゴリズムのプロセスである。 このモデルは、言語補題化プロセスにおける最良の結果を得る。
  論文  参考訳（メタデータ） (2022-07-23T18:02:16Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。