論文の概要: Scoring Both Directions: LLMs realize the MRS they cannot reliably parse

• arxiv url: http://arxiv.org/abs/2609.30071v1
• Date: Thu, 24 Sep 2026 16:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.10216
• Title: Scoring Both Directions: LLMs realize the MRS they cannot reliably parse
• Title（参考訳）: Scoring both Directions: LLMは、確実に解析できないMSSを認識します。
• Abstract要約: 英語資源文法(英: English Resource Grammar、ERG)は、英語で書かれた手書きの計算文法である。 ERGは、文の述語とその引数のグラフであるMinimal Recursion Semantics (MRS)と呼ばれる形式的な意味表現を生成する。 citethajdik 2019では、ERGのツリーバンクを使用して、生成タスクのベンチマーク、テキストへのMSS、それを解決するためのトレーニングされたシーケンス・ツー・シーケンスモデルを構築した。
• 参考スコア（独自算出の注目度）: 13.142220109832197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The English Resource Grammar (ERG) is a hand-written computational grammar of English. Given a sentence, its processor, ACE, produces a formal meaning representation called Minimal Recursion Semantics (MRS): a graph of the sentence's predicates and their arguments. The grammar is bidirectional and can also turn an MRS back into an English sentence. \citet{hajdik2019} used the ERG's treebank to build a benchmark for that generation task, MRS to text, and trained sequence-to-sequence models to solve it. The parsing task, text to MRS, can be tested on the same sentences. We reconstruct their 10K-sentence test split, and score two large language models, Claude Sonnet~4.5 and Claude Opus~5, in both directions against their trained systems and against ACE, with no task-specific training. Given an MRS and three examples, Opus writes the sentence at 76.3 BLEU, ten points above their system trained on 72k pairs (66.1 BLEU), and comparable to their system trained on a million extra pairs (77.2 BLEU). Sonnet scores 65.7 BLEU, and letting it choose among ACE's own candidate sentences lifts it to 69.6, while a pooled judge that keeps Opus's own sentence among the candidates adds 0.6 points (77.0 BLEU). In the parsing direction, however, the models fall far behind ACE: asked for the MRS of the same sentences, they reach 57.2 (Sonnet) and 65.5 (Opus) F$_1$ on the graph's predicates and arguments against 91.0 for ACE, and exact-match the gold on about 1\% of sentences. We characterize the failure modes for the parsing tasks, and conclude that a generation score alone does not show that models understand formal semantic representations.
• Abstract（参考訳）: 英語資源文法(英: English Resource Grammar、ERG)は、英語で書かれた手書きの計算文法である。 文が与えられたとき、そのプロセッサであるACEは、その文の述語とその引数のグラフであるMinimmal Recursion Semantics (MRS)と呼ばれる形式的な意味表現を生成する。 文法は双方向であり、MSSを英語の文に戻すこともできる。 \citet{hajdik2019} は、ERGのツリーバンクを使用して、生成タスクのベンチマーク、テキストへのMSS、それを解決するためにトレーニングされたシーケンス・ツー・シーケンスモデルを構築した。 MRSへのテキスト解析タスクは、同じ文でテストすることができる。 我々は10K文の分割を再構築し、Claude Sonnet~4.5とClaude Opus~5という2つの大きな言語モデルを、訓練されたシステムとACEに対して、タスク固有のトレーニングを伴わずに、両方の方向でスコア付けする。 MRSと3つの例が与えられた後、オプスは76.3 BLEUで文を書き、72k対(66.1 BLEU)で訓練されたシステムより10ポイント高く、100万対(77.2 BLEU)で訓練されたシステムに匹敵する。 ソネットは65.7 BLEUを獲得し、ACEの候補文の中から選択を許すと69.6に引き上げ、一方オプスの候補文は0.6ポイント(77.0 BLEU)となる。 同一文のMSSを求めると57.2 (Sonnet) と 65.5 (Opus) F$_1$ となる。 解析タスクのフェールモードを特徴付け、生成スコアだけではモデルが形式的な意味表現を理解できないと結論付ける。

関連論文リスト

• Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers [0.14658400971135652]
  タミル語は、豊富な言語形態、単語境界における複雑なサンディー規則、247の異なる文字を持つ、凝集性の低リソース言語である。 我々は,最大657,720個のノイズクリーンなタミル文ペアの合成コーパス上で,エンドツーエンドのシーケンス・ツー・シーケンスの定式化と微細構造mT5-小およびmBART-50を提案する。 私たちの最良のモデルであるmBART-50 v5は、69.3%の精度で、サンジーでは87.5%、主観的な合意では43.5%に達する。
  論文  参考訳（メタデータ） (2026-09-03T02:02:39Z)
• Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities [3.0508522904185438]
  大規模言語モデル(LLM)は、人間の生成したテキストに曝露することで言語能力を得る。 そこで本研究では,LLM入力の文境界に挿入する手法を提案する。 その結果, GSM8kでは7.7%, DROPでは12.5%, 様々なタスクで一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-04-11T10:00:52Z)
• The Gold Medals in an Empty Room: Diagnosing Metalinguistic Reasoning in LLMs with Camlang [8.440204591615442]
  大規模言語モデル (LLM) は多くのベンチマークでゴールド・メディカルのパフォーマンスを達成しているが、そのような成功が真の推論やパターンマッチングを反映しているかどうかは不明だ。 認知科学の観点からは、モデルが明示的なメタリング主義的推論学習を通じて、馴染みの無い言語をマスターできるかどうかが有益なテストである。 私たちは、自然主義的だが証明されていない特徴の組み合わせを示す、新しく構築された言語Camlangでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-08-30T09:13:10Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Punctuation Restoration for Singaporean Spoken Languages: English, Malay, and Mandarin [1.0923877073891446]
  本稿では,多言語 ASR システムにより生成された ASR 転写文の句読点復元作業について述べる。 英語、マンダリン語、マレー語がシンガポールで最も人気のある言語である。 我々の知る限りでは、これら3つの言語の句読点復元を同時に行うことができる最初のシステムである。
  論文  参考訳（メタデータ） (2022-12-10T19:54:53Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021 [50.591267188664666]
  我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。 本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。 両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
  論文  参考訳（メタデータ） (2022-07-14T07:38:13Z)
• RuArg-2022: Argument Mining Evaluation [69.87149207721035]
  本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。 新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。 両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
  論文  参考訳（メタデータ） (2022-06-18T17:13:37Z)
• LM-Critic: Language Models for Unsupervised Grammatical Error Correction [128.9174409251852]
  文を文法的に判断する LM-Critic の定義において,事前訓練された言語モデル (LM) の活用法を示す。 このLM-Critic と BIFI と、ラベルなし文の集合を併用して、現実的な非文法的/文法的ペアをブートストラップし、修正子を訓練する。
  論文  参考訳（メタデータ） (2021-09-14T17:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。