論文の概要: Inferring symmetry in natural language
- arxiv url: http://arxiv.org/abs/2010.08090v1
- Date: Fri, 16 Oct 2020 01:25:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 20:57:08.127373
- Title: Inferring symmetry in natural language
- Title(参考訳): 自然言語における推論対称性
- Authors: Chelsea Tanchip, Lei Yu, Aotao Xu, Yang Xu
- Abstract要約: 自然言語における動詞述語の対称性を推定するための方法論的枠組みを提案する。
我々の研究は、自然言語における対称性に対する既存のアプローチを統合し、対称性推論が最先端の言語モデルにおける体系性をどのように改善するかを示唆している。
- 参考スコア(独自算出の注目度): 6.962103403356227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a methodological framework for inferring symmetry of verb
predicates in natural language. Empirical work on predicate symmetry has taken
two main approaches. The feature-based approach focuses on linguistic features
pertaining to symmetry. The context-based approach denies the existence of
absolute symmetry but instead argues that such inference is context dependent.
We develop methods that formalize these approaches and evaluate them against a
novel symmetry inference sentence (SIS) dataset comprised of 400 naturalistic
usages of literature-informed verbs spanning the spectrum of
symmetry-asymmetry. Our results show that a hybrid transfer learning model that
integrates linguistic features with contextualized language models most
faithfully predicts the empirical data. Our work integrates existing approaches
to symmetry in natural language and suggests how symmetry inference can improve
systematicity in state-of-the-art language models.
- Abstract(参考訳): 自然言語における動詞述語の対称性を推定するための方法論的枠組みを提案する。
述語対称性に関する実証研究は2つの主要なアプローチを取っている。
特徴に基づくアプローチは、対称性に関連する言語的特徴に焦点を当てている。
文脈に基づくアプローチは絶対対称性の存在を否定するが、そのような推論は文脈依存であると主張する。
我々はこれらのアプローチを形式化し、対称性非対称性のスペクトルにまたがる400の文の自然主義的用法からなる新しい対称性推論文(SIS)データセットに対して評価する手法を開発した。
この結果から,言語特徴と文脈化言語モデルを統合するハイブリッドトランスファー学習モデルが最も忠実に経験的データを予測できることが示唆された。
我々の研究は、自然言語の対称性に対する既存のアプローチを統合し、対称性推論が最先端言語モデルの体系性をどのように改善するかを示唆する。
関連論文リスト
- SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance [0.0]
我々は、生データから始まる新しい教師なし対称性学習法を開発した。
この対称性と局所性の結合は,エントロピー推定のために開発された特別な最適化手法とともに,高度に安定なシステムをもたらすことを実証する。
私たちが考える対称性の作用は群表現であるが、このアプローチは非可換リー群のより一般的な非線形作用に一般化される可能性があると信じている。
論文 参考訳(メタデータ) (2024-10-07T17:40:51Z) - Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models [55.898594710420326]
本稿では,言語モデルに基づく新たな自然音声合成システムを提案する。
自発音声における微妙な韻律変化を捉えるモデルの能力を高めるために, きめ細かい韻律モデリングを導入する。
論文 参考訳(メタデータ) (2024-07-18T13:42:38Z) - Regularized Conventions: Equilibrium Computation as a Model of Pragmatic
Reasoning [72.21876989058858]
本稿では,信号ゲームの正規化平衡を探索することにより,発話を生成・理解する実用的な言語理解のモデルを提案する。
このモデルでは、話者とリスナーは文脈的に適切な発話を探索し、ゲーム理論の最適規則に近づき、共有された'デフォルト'セマンティクスに近い意味のマッピングを意味づける。
論文 参考訳(メタデータ) (2023-11-16T09:42:36Z) - Robustness of the Random Language Model [0.0]
このモデルは、潜在的言語の広大な空間におけるアニーリングの一種として、最初の言語学習の簡単な図を示唆している。
これは、潜在的な単語とカテゴリ間の対称性が自発的に壊れる文法構文への単一の連続的な遷移を意味する。
結果は、言語学における第一言語習得の理論と、機械学習における最近の成功を踏まえて議論される。
論文 参考訳(メタデータ) (2023-09-26T13:14:35Z) - Addressing Imperfect Symmetry: a Novel Symmetry-Learning Actor-Critic
Extension [0.46040036610482665]
適応対称性 (Adaptive Symmetry, ASL) $x2013$ は不完全対称性に対処するモデル最小化アクター批判拡張である。
ASLは対称性適合成分とモジュラー損失関数から構成され、学習されたポリシーに適応しながら全ての状態に共通な関係を強制する。
その結果, ASLは大きな摂動から回復し, 隠れ対称状態へ一般化できることがわかった。
論文 参考訳(メタデータ) (2023-09-06T04:47:46Z) - Regularizing Towards Soft Equivariance Under Mixed Symmetries [23.603875905608565]
混合近似対称性を持つデータセットのモデルを構築するための正規化器に基づく手法を提案する。
提案手法は,近似対称性のレベルを正確に発見しながら,従来の手法よりも精度が高いことを示す。
論文 参考訳(メタデータ) (2023-06-01T05:33:41Z) - Evaluating the Robustness of Interpretability Methods through
Explanation Invariance and Equivariance [72.50214227616728]
解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。
特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
論文 参考訳(メタデータ) (2023-04-13T17:59:03Z) - On the Intrinsic and Extrinsic Fairness Evaluation Metrics for
Contextualized Language Representations [74.70957445600936]
様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。
これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
論文 参考訳(メタデータ) (2022-03-25T22:17:43Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Language Models for Lexical Inference in Context [4.581468205348204]
文脈における語彙推論(英: Lexical inference in context, LIiC)とは、2つの非常に類似した文間のテキストの含意を認識するタスクである。
本稿では,この課題に対する事前学習言語モデル(LM)に基づいて,最初のアプローチを定式化し,評価する。
LIiC に対する事前訓練による LM の可能性が示された。
論文 参考訳(メタデータ) (2021-02-10T09:08:22Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳(メタデータ) (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。