論文の概要: The Box is in the Pen: Evaluating Commonsense Reasoning in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2503.03308v1
• Date: Wed, 05 Mar 2025 09:41:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:52:39.546498
• Title: The Box is in the Pen: Evaluating Commonsense Reasoning in Neural Machine Translation
• Title（参考訳）: 箱はペンにある:ニューラルマシン翻訳における常識推論の評価
• Authors: Jie He, Tao Wang, Deyi Xiong, Qun Liu,
• Abstract要約: 本稿では,ニューラルマシン翻訳の常識推論能力を評価するためのテストスイートを提案する。 ソース文と2つのコントラスト翻訳を含む1200のトリプルを手作業で作成します。 実験と解析により,ニューラルマシン翻訳は3種類のあいまいさの常識的推論において不十分であることが示された。
• 参考スコア（独自算出の注目度）: 59.06696045219381
• License:
• Abstract: Does neural machine translation yield translations that are congenial with common sense? In this paper, we present a test suite to evaluate the commonsense reasoning capability of neural machine translation. The test suite consists of three test sets, covering lexical and contextless/contextual syntactic ambiguity that requires commonsense knowledge to resolve. We manually create 1,200 triples, each of which contain a source sentence and two contrastive translations, involving 7 different common sense types. Language models pretrained on large-scale corpora, such as BERT, GPT-2, achieve a commonsense reasoning accuracy of lower than 72% on target translations of this test suite. We conduct extensive experiments on the test suite to evaluate commonsense reasoning in neural machine translation and investigate factors that have impact on this capability. Our experiments and analyses demonstrate that neural machine translation performs poorly on commonsense reasoning of the three ambiguity types in terms of both reasoning accuracy (60.1%) and reasoning consistency (31%). The built commonsense test suite is available at https://github.com/tjunlp-lab/CommonMT.
• Abstract（参考訳）: ニューラルマシン翻訳は共通の意味を持つ翻訳を生成するか? 本稿では,ニューラルマシン翻訳の常識推論能力を評価するためのテストスイートを提案する。 テストスイートは3つのテストセットで構成され、語彙的および文脈的/文脈的構文的曖昧さをカバーし、解決するために常識的知識を必要とする。 ソース文と2つのコントラスト翻訳を含む1200のトリプルを手動で作成し、7つの共通感覚型を含む。 BERTやGPT-2のような大規模コーパスで事前訓練された言語モデルは、このテストスイートのターゲット翻訳において72%未満の常識的推論精度を達成する。 我々は、ニューラルネットワーク翻訳におけるコモンセンス推論を評価し、この能力に影響を及ぼす要因を調べるために、テストスイート上で広範囲な実験を行う。 実験と解析により,ニューラルマシン翻訳は,推論精度(60.1%)と推論整合性(31%)の両面において,3種類のあいまいさの常識的推論において不十分な性能を示した。 Commonsenseテストスイートはhttps://github.com/tjunlp-lab/CommonMTで公開されている。

関連論文リスト

• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Automatic Evaluation and Analysis of Idioms in Neural Machine Translation [12.227312923011986]
  人間の関与なしにリテラル翻訳誤りの頻度を測定するための新しい指標を提案する。 モノリンガル事前学習の役割を探求し、それが実質的な改善をもたらすことを発見した。 ランダムなイディオムモデルは、文脈の変化の影響を受けないため、より局所的あるいは「ミオピック」であることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T10:30:09Z)
• Comparing Formulaic Language in Human and Machine Translation: Insight from a Parliamentary Corpus [0.0]
  このテキストは、DeepL、Google Translate、Microsoft Translatorの3つのよく知られたニューラルネットワーク翻訳システムによって、フランス語から英語に翻訳された。 その結果, ニュースコーパスの観測結果が確認できたが, 違いは少ない。 彼らは、通常、議会のコーパスのようなよりリテラルな翻訳をもたらすテキストのジャンルを使うことが、人間と機械の翻訳を比較する際に好ましいことを示唆している。
  論文  参考訳（メタデータ） (2022-06-22T08:59:10Z)
• DEEP: DEnoising Entity Pre-training for Neural Machine Translation [123.6686940355937]
  機械翻訳モデルは通常、トレーニングコーパスで稀な名前付きエンティティの翻訳を貧弱に生成することが示されている。 文中の名前付きエンティティ翻訳精度を向上させるために,大量のモノリンガルデータと知識ベースを利用するDenoising Entity Pre-training法であるDEEPを提案する。
  論文  参考訳（メタデータ） (2021-11-14T17:28:09Z)
• COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences [21.11065466376105]
  常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。 事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。 本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2021-06-02T06:31:55Z)
• It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information [90.35685796083563]
  クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。 XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。 本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
  論文  参考訳（メタデータ） (2020-05-05T17:38:48Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)
• Personality Assessment from Text for Machine Commonsense Reasoning [15.348792748868643]
  PerSenseは、表現されたテキストに基づいて人間の性格特性を推定するフレームワークである。 我々の目標は、人格特性データに機械学習アルゴリズムを使用することの可能性を示すことである。
  論文  参考訳（メタデータ） (2020-04-15T07:30:47Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• On the Integration of LinguisticFeatures into Statistical and Neural Machine Translation [2.132096006921048]
  機械翻訳に対する統計的アプローチの強みと人間の翻訳方法の相違について検討する。 自動翻訳システムがより正確な翻訳を行うために欠落している言語情報を同定する。 我々は、過一般化または「アルゴミックバイアス」をニューラルMTの潜在的な欠点として認識し、残りの言語問題の多くにリンクする。
  論文  参考訳（メタデータ） (2020-03-31T16:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。