論文の概要: Studying word order through iterative shuffling

• arxiv url: http://arxiv.org/abs/2109.04867v1
• Date: Fri, 10 Sep 2021 13:27:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 17:43:06.709865
• Title: Studying word order through iterative shuffling
• Title（参考訳）: 反復シャッフルによる単語順の研究
• Authors: Nikolay Malkin, Sameera Lanka, Pranav Goel, Nebojsa Jojic
• Abstract要約: NLPベンチマークタスクの実行には,単語順序エンコードが不可欠であることを示す。 我々は、固定言語モデルの下で最も高い確率を持つ単語の袋を注文する、新しい効率的な手続きであるBISを使用する。 IBISのような推論手順のシャッフルが言語モデリングや制約付き生成にどのように役立つかについて議論する。
• 参考スコア（独自算出の注目度）: 14.530986799844873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As neural language models approach human performance on NLP benchmark tasks, their advances are widely seen as evidence of an increasingly complex understanding of syntax. This view rests upon a hypothesis that has not yet been empirically tested: that word order encodes meaning essential to performing these tasks. We refute this hypothesis in many cases: in the GLUE suite and in various genres of English text, the words in a sentence or phrase can rarely be permuted to form a phrase carrying substantially different information. Our surprising result relies on inference by iterative shuffling (IBIS), a novel, efficient procedure that finds the ordering of a bag of words having the highest likelihood under a fixed language model. IBIS can use any black-box model without additional training and is superior to existing word ordering algorithms. Coalescing our findings, we discuss how shuffling inference procedures such as IBIS can benefit language modeling and constrained generation.
• Abstract（参考訳）: ニューラルネットワークモデルがNLPベンチマークタスク上での人間のパフォーマンスに近づくにつれ、その進歩は構文の複雑な理解の証拠として広く見られている。 この考え方は、まだ実証的にテストされていない仮説に基づいている: 語順はこれらのタスクを実行する上で不可欠な意味を符号化する。 グルー・スイートや英文の様々なジャンルでは、文や句の中の単語が置換されることは滅多になく、実質的に異なる情報を持つフレーズを形成することができる。 我々の驚くべき結果は、固定言語モデルの下で最も高い確率の単語の袋を注文する新しい効率的な手順である反復シャッフル(IBIS)による推論に依存する。 IBISはいかなるブラックボックスモデルも追加トレーニングなしで使用でき、既存の単語順序付けアルゴリズムよりも優れている。 IBISのようなシャッフル推論手法が言語モデリングや制約付き生成にどう役立つのかを考察する。

関連論文リスト

• Learning Interpretable Queries for Explainable Image Classification with Information Pursuit [18.089603786027503]
  Information Pursuit (IP) は、データに関する解釈可能なクエリのシーケンスを欲求的に選択する説明可能な予測アルゴリズムである。 本稿では,データセットから直接解釈可能なクエリの辞書を学習する,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-16T21:43:07Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Word Order Does Matter (And Shuffled Language Models Know It) [9.990431777927421]
  近年の研究では、ランダムに置換された文に対して事前訓練および/または微調整された言語モデルがGLUE上での競合性能を示すことが示されている。 シャッフルテキストエンコードから得られた位置埋め込みについて検討し、これらのモデルが元の自然主義的な単語順序に関する情報を保持することを示す。
  論文  参考訳（メタデータ） (2022-03-21T14:10:15Z)
• Dict-BERT: Enhancing Language Model Pre-training with Dictionary [42.0998323292348]
  事前学習型言語モデル(PLM)は,大規模コーパス上で自己指導型学習タスクを行うことで,普遍的な言語表現を学習することを目的としている。 本研究では,辞書におけるレアワードの定義を活用することで,言語モデル事前学習の強化に焦点をあてる。 入力テキストシーケンスとまれな単語定義間の単語と文レベルのアライメントに関する2つの新しい自己教師付き事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2021-10-13T04:29:14Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。