論文の概要: Word Order's Impacts: Insights from Reordering and Generation Analysis
- arxiv url: http://arxiv.org/abs/2403.11473v1
- Date: Mon, 18 Mar 2024 04:45:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 16:36:25.771896
- Title: Word Order's Impacts: Insights from Reordering and Generation Analysis
- Title（参考訳）: 語順の影響:並べ替えと生成分析からの洞察
- Authors: Qinghua Zhao, Jiaang Li, Lei Li, Zenghui Zhou, Junfeng Liu,
- Abstract要約: 現存する研究は、自然文中の単語の順序が与える影響について研究している。
この結果を踏まえ、単語順序に関する異なる仮説が提案されている。
ChatGPTは単語順序に依存するが、単語順序の語彙的意味論の間の冗長関係をサポートし、否定することはできない。
- 参考スコア（独自算出の注目度）: 9.0720895802828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing works have studied the impacts of the order of words within natural text. They usually analyze it by destroying the original order of words to create a scrambled sequence, and then comparing the models' performance between the original and scrambled sequences. The experimental results demonstrate marginal drops. Considering this findings, different hypothesis about word order is proposed, including ``the order of words is redundant with lexical semantics'', and ``models do not rely on word order''. In this paper, we revisit the aforementioned hypotheses by adding a order reconstruction perspective, and selecting datasets of different spectrum. Specifically, we first select four different datasets, and then design order reconstruction and continuing generation tasks. Empirical findings support that ChatGPT relies on word order to infer, but cannot support or negate the redundancy relations between word order lexical semantics.
- Abstract（参考訳）: 現存する研究は、自然文中の単語の順序が与える影響について研究している。
彼らは通常、スクランブルされたシーケンスを生成するために元の単語の順序を壊し、その後、元のシーケンスとスクランブルされたシーケンスのパフォーマンスを比較して分析する。
実験の結果, 限界降下が認められた。
このことから,「単語の順序は語彙的意味論で冗長である」,「モデルは単語の順序に依存しない」など,単語の順序に関する異なる仮説が提案されている。
本稿では,これらの仮説を再検討し,オーダー再構成の視点を付加し,異なるスペクトルのデータセットを選択する。
具体的には、まず4つの異なるデータセットを選択し、次に注文の再構築と継続生成タスクを設計する。
経験的発見は、ChatGPTが単語順序に依存して推論するが、単語順序の語彙意味論間の冗長関係をサポートし、否定することはできないことを裏付ける。
関連論文リスト
- Word Order and World Knowledge [9.22384870426709]
言語モデルを用いて,語順が生テキストから世界知識の誘導にどう影響するかを考察する。
具体的には、自然語順に加えて、5つの言語からそれぞれ6つの固定語順のテキストを抽出する。
論文 参考訳（メタデータ） (2024-03-01T08:13:48Z) - Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。
クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。
我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
論文 参考訳（メタデータ） (2023-05-26T08:44:02Z) - Dual Mechanism Priming Effects in Hindi Word Order [14.88833412862455]
プライミングは複数の異なるソースによって駆動されるという仮説をテストする。
コーパス文の前動詞構成成分をパーミュレートし、ロジスティック回帰モデルを用いて、コーパス内で実際に発生した文を予測する。
異なるプライミングの影響が互いに分離可能であることを示すことによって、我々は複数の認知メカニズムがプライミングの根底にあるという仮説を支持した。
論文 参考訳（メタデータ） (2022-10-25T11:49:22Z) - Keywords and Instances: A Hierarchical Contrastive Learning Framework
Unifying Hybrid Granularities for Text Generation [59.01297461453444]
入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。
実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
論文 参考訳（メタデータ） (2022-05-26T13:26:03Z) - Word Order Does Matter (And Shuffled Language Models Know It) [9.990431777927421]
近年の研究では、ランダムに置換された文に対して事前訓練および/または微調整された言語モデルがGLUE上での競合性能を示すことが示されている。
シャッフルテキストエンコードから得られた位置埋め込みについて検討し、これらのモデルが元の自然主義的な単語順序に関する情報を保持することを示す。
論文 参考訳（メタデータ） (2022-03-21T14:10:15Z) - Studying word order through iterative shuffling [14.530986799844873]
NLPベンチマークタスクの実行には,単語順序エンコードが不可欠であることを示す。
我々は、固定言語モデルの下で最も高い確率を持つ単語の袋を注文する、新しい効率的な手続きであるBISを使用する。
IBISのような推論手順のシャッフルが言語モデリングや制約付き生成にどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2021-09-10T13:27:06Z) - On the Evolution of Word Order [7.2610922684683645]
最適な言語は固定語順を持つ言語であることを示す。
また,ケースマーカーや名詞動詞の区別などの文に情報を追加することで,単語の順序を固定化する必要がなくなることを示す。
論文 参考訳（メタデータ） (2021-01-23T20:30:17Z) - Compositional Generalization via Semantic Tagging [81.24269148865555]
本稿では,シーケンス・ツー・シーケンスモデルの表現性と一般性を保存するための新しいデコードフレームワークを提案する。
提案手法は, モデルアーキテクチャ, ドメイン, セマンティックフォーマリズム間の構成一般化を一貫して改善することを示す。
論文 参考訳（メタデータ） (2020-10-22T15:55:15Z) - Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。
まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。
次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
論文 参考訳（メタデータ） (2020-05-05T09:02:25Z) - Words aren't enough, their order matters: On the Robustness of Grounding
Visual Referring Expressions [87.33156149634392]
視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。
83.7%のケースでは言語構造に関する推論は不要である。
比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
論文 参考訳（メタデータ） (2020-05-04T17:09:15Z) - Extractive Summarization as Text Matching [123.09816729675838]
本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。
抽出した要約タスクを意味テキストマッチング問題として定式化する。
我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
論文 参考訳（メタデータ） (2020-04-19T08:27:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。