論文の概要: Better Boundary Prediction Does Not Guarantee Better Structural Representation
- arxiv url: http://arxiv.org/abs/2611.15971v1
- Date: Wed, 11 Nov 2026 20:15:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.268736
- Title: Better Boundary Prediction Does Not Guarantee Better Structural Representation
- Title(参考訳): より良い境界予測は、より良い構造表現を保証しない
- Abstract要約: 言語構造のプロキシとしての句読点の多さと実現性は、句読点を用いてフレーズ構造を最適化することで、言語モデル(LM)が議論、意味論、構文構造の表現を改善することを示唆している。
本稿では,従来のトークン予測と句読取復元(PR)を補完することにより,デコーダのみ,エンコーダのみ,エンコーダのみ,エンコーダのみ,およびエンコーダ・デコーダ(LM)の3つのアーキテクチャにまたがって,上記の主張を英語で検証する。
1Bパラメータスケールで収集された我々の証拠は、境界予測の最適化がデコーダのみにおける高品質な構造表現を保証するとは限らないことを示唆している。
- 参考スコア(独自算出の注目度): 5.058690835968556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Punctuation marks often mark phrase boundaries, carrying linguistic information. Therefore, punctuation marks' abundance and feasibility as proxies of linguistic structure has led to suggestions that using punctuation marks to optimise on phrasal structure may help language models (LMs) improve their representations of argument, semantic, and syntactic structures. In this paper, we test the above claim in English across three primary LM architectures: decoder-only, encoder-only, and encoder-decoder LMs, by complementing traditional token prediction with punctuation restoration (PR). Our evidence, collected at the <1B parameter scale, suggests that optimising for boundary prediction does not necessarily guarantee higher-quality structural representation in decoder-only, encoder-decoder, and encoder-only LMs, failing to improve performance on downstream tasks that require understanding structure in linguistic input.
- Abstract(参考訳): 句読点はしばしば句の境界を示し、言語情報を運ぶ。
したがって、言語構造のプロキシとしての句読点の多さと実現可能性から、句読点を用いて句読点をフレーズ構造に最適化することで、言語モデル(LM)が議論、意味論、構文構造の表現を改善することが示唆されている。
本稿では,従来のトークン予測と句読取復元(PR)を補完することにより,デコーダのみ,エンコーダのみ,エンコーダのみ,エンコーダのみ,およびエンコーダ・デコーダの3つのアーキテクチャにまたがって,上記の主張を英語で検証する。
また,<1Bパラメータスケールで収集した証拠から,デコーダのみ,エンコーダのみ,エンコーダのみ,およびエンコーダのみのLMにおいて,境界予測の最適化が必ずしも高品質な構造表現を保証するとは限らないことが示唆された。
関連論文リスト
- Specification-Guided Generation for Large Language Models [62.180282686760414]
大規模言語モデル(LLM)は構造化された出力を生成することができるが、既存の制約付き復号法は主に構文を強制する。
本稿では,LLM生成とシンボリック推論を組み合わせた,ニューロシンボリックな仕様誘導型デコードフレームワークを提案する。
本稿では、構築による仕様満足度を保証するフォワードオンリーの変種と、それ以前の選択肢を再検討するバックトラックの変種を提案する。
論文 参考訳(メタデータ) (2026-10-30T10:01:25Z) - SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation [11.135592716645915]
SignRAGは階層的な事前訓練、ターゲットドメインの検索拡張、検索対応強化の微調整を組み合わせた統合フレームワークである。
我々の知る限りでは、SignRAGは、CSL-Daily上で報告されたすべての指標において、光沢を監督する手法よりも優れた、光沢のない最初のアプローチである。
論文 参考訳(メタデータ) (2026-10-08T07:03:24Z) - Information-Guided Frontier Decoding: Contextual Utility-Driven Commitment in dMLLMs [5.167210035701369]
Information-Guided Frontier Decodingは、トレーニング不要のデコーディング戦略である。
トークンの信頼度、近隣の不確実性、構造的コミットメントリスクを用いて候補者をランク付けする。
脆弱な構造トークンを遅らせながら、信頼性の高いセマンティックアンカーの早期コミットを促進する。
論文 参考訳(メタデータ) (2026-08-27T05:51:00Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳(メタデータ) (2026-06-24T15:58:11Z) - How Different Tokenization Algorithms Impact LLMs and Transformer Models for Binary Code Analysis [0.0]
その重要性にもかかわらず、アセンブリコードのコンテキストにおけるトークン化は未探索領域のままである。
我々は、アセンブリコードのユニークな特徴に合わせて、プリプロセスのカスタマイズオプションとプリトークン化ルールについて検討する。
我々は,トークン化効率,語彙圧縮,組立符号の表現忠実度に基づくトークン化器の比較を行った。
論文 参考訳(メタデータ) (2025-11-05T19:45:26Z) - Decoder-Only or Encoder-Decoder? Interpreting Language Model as a
Regularized Encoder-Decoder [75.03283861464365]
seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。
伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。
最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
論文 参考訳(メタデータ) (2023-04-08T15:44:29Z) - Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。
その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
論文 参考訳(メタデータ) (2022-05-30T12:27:48Z) - Fast End-to-End Speech Recognition via a Non-Autoregressive Model and
Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。
モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文 参考訳(メタデータ) (2021-02-15T15:18:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。