論文の概要: Which Word Orders Facilitate Length Generalization in LMs? An Investigation with GCG-Based Artificial Languages

• arxiv url: http://arxiv.org/abs/2510.12722v1
• Date: Tue, 14 Oct 2025 17:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.40571
• Title: Which Word Orders Facilitate Length Generalization in LMs? An Investigation with GCG-Based Artificial Languages
• Title（参考訳）: LMの長文一般化をめざす語順 : GCGに基づく人工言語を用いた検討
• Authors: Nadine El-Naggar, Tatsuki Kuribayashi, Ted Briscoe,
• Abstract要約: 言語モデル (LM) は, 稀で不明瞭な言語モデルよりも, 典型的に頻繁な文法的特性を優先する帰納的バイアスを持つかを検討する。 我々は、一般化カテゴリー文法(GCG)を採用することにより、文脈自由ALの形式化を拡大する。 我々の評価は、未確認の長文を処理できるLMの一般化能力に重点を置いている。
• 参考スコア（独自算出の注目度）: 9.692115036534187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether language models (LMs) have inductive biases that favor typologically frequent grammatical properties over rare, implausible ones has been investigated, typically using artificial languages (ALs) (White and Cotterell, 2021; Kuribayashi et al., 2024). In this paper, we extend these works from two perspectives. First, we extend their context-free AL formalization by adopting Generalized Categorial Grammar (GCG) (Wood, 2014), which allows ALs to cover attested but previously overlooked constructions, such as unbounded dependency and mildly context-sensitive structures. Second, our evaluation focuses more on the generalization ability of LMs to process unseen longer test sentences. Thus, our ALs better capture features of natural languages and our experimental paradigm leads to clearer conclusions -- typologically plausible word orders tend to be easier for LMs to productively generalize.
• Abstract（参考訳）: 言語モデル(LM)が、希少な不明瞭な言語よりも型的に頻繁な文法的特性を好む帰納的バイアスを持つかどうかを、典型的には人工言語(AL)を用いて研究されている(White and Cotterell, 2021; Kuribayashi et al , 2024)。 本稿では,これらの研究を2つの視点から拡張する。 まず, 一般化分類文法 (GCG) (Wood, 2014) を用いて文脈自由なALの形式化を拡張し, 非有界依存や軽微な文脈依存構造など,証明されていないがこれまで見過ごされていた構成をALがカバーできるようにする。 第2に、本評価は、未確認長文処理におけるLMの一般化能力に重点を置いている。 このように、我々のALは自然言語の特徴をよりよく捉え、実験パラダイムはより明確な結論をもたらす。

関連論文リスト

• Evaluating Autoformalization Robustness via Semantically Similar Paraphrasing [0.0]
  大規模言語モデル(LLM)は、自動形式化のための強力なツールとして登場した。 最近の研究により、LLMはパラフレーズ自然言語(NL)入力に敏感であることが判明した。 意味論的に類似したNL文を持つ形式的証明を生成するLLMのロバスト性を評価する。
  論文  参考訳（メタデータ） (2025-11-16T21:25:59Z)
• Unnatural Languages Are Not Bugs but Features for LLMs [92.8332103170009]
  大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
  論文  参考訳（メタデータ） (2025-03-02T12:10:17Z)
• Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs [14.78046527879077]
  言語モデルをトレーニングして、不可能で、タイプミス的に証明されていない言語をモデル化します。 以上の結果から, GPT-2 の小型化により, 検証対象言語と不可能言語との完全分離が達成できないことが明らかとなった。 これらの結果は、LMは人間のような誘導バイアスを示すが、これらのバイアスは人間の学習者よりも弱いことを示唆している。
  論文  参考訳（メタデータ） (2025-02-26T04:01:36Z)
• Linguistic Generalizations are not Rules: Impacts on Evaluation of LMs [13.700007279857081]
  LMがいかにうまく一般化するかの言語学的評価は、自然言語は象徴的な規則によって生成されるという当然の事である。 ここでは、LMが象徴的なルールに従わなかったことはバグではなく機能かもしれないことを示唆する。 新しい発話は、柔軟性、相互関連性、文脈に依存した構成の組み合わせによって生成され、理解される。
  論文  参考訳（メタデータ） (2025-02-18T17:40:20Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
  本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。 具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。 次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
  論文  参考訳（メタデータ） (2023-10-25T23:32:12Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Sort by Structure: Language Model Ranking as Dependency Probing [25.723591566201343]
  事前学習型言語モデル (LM) のインフォームドな選択は、性能上重要であるが、環境上はコストがかかる。 本稿では,LMの文脈的埋め込みからラベル付き木が回復可能な程度を計測することにより,特定の言語における依存関係を解析するために,LMのランク付けを提案する。 本手法は,46のタイプ的およびアーキテクチャ的に多様なLM言語対に対して,計算量の少ない命令の79%のLM選択を,計算量の少ない命令のフルグレードのトレーニングよりも最適に予測する。
  論文  参考訳（メタデータ） (2022-06-10T08:10:29Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。