論文の概要: Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective

• arxiv url: http://arxiv.org/abs/2604.23267v1
• Date: Sat, 25 Apr 2026 12:19:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.236259
• Title: Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective
• Title（参考訳）: 大規模言語モデルにおける微調整と文脈内学習--形式言語学習の視点から
• Abstract要約: 大規模言語モデル(LLM)は、ファインチューニング(FT)とインコンテキスト学習(ICL)の2つの基本的な学習モードで動作する。 FTとICLを比較した以前の研究では、不整合な実験装置による混合と不整合の結果が得られた。 本稿では,正確な言語境界,制御された文字列サンプリング,データ汚染のない形式的な言語学習タスクを提案する。
• 参考スコア（独自算出の注目度）: 15.30367035674579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) operate in two fundamental learning modes - fine-tuning (FT) and in-context learning (ICL) - raising key questions about which mode yields greater language proficiency and whether they differ in their inductive biases. Prior studies comparing FT and ICL have yielded mixed and inconclusive results due to inconsistent experimental setups. To enable a rigorous comparison, we propose a formal language learning task - offering precise language boundaries, controlled string sampling, and no data contamination - and introduce a discriminative test for language proficiency, where an LLM succeeds if it assigns higher generation probability to in-language strings than to out-of-language strings. Empirically, we find that: (a) FT has greater language proficiency than ICL on in-distribution generalization, but both perform equally well on out-of-distribution generalization. (b) Their inductive biases, measured by the correlation in string generation probabilities, are similar when both modes partially learn the language but diverge at higher proficiency levels. (c) Unlike FT, ICL performance differs substantially across models of varying sizes and families and is sensitive to the token vocabulary of the language. Thus, our work demonstrates the promise of formal languages as a controlled testbed for evaluating LLMs, behaviors that are difficult to isolate in natural language datasets. Our source code is available at https://github.com/bishwamittra/formallm.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、微細チューニング(FT)とコンテキスト内学習(ICL)の2つの基本的な学習モードで動作し、どのモードがより優れた言語習熟度をもたらすか、そしてそれらが帰納バイアスで異なるかという重要な疑問を提起する。 FTとICLを比較した以前の研究では、不整合な実験装置による混合と不整合の結果が得られた。 厳密な比較を可能にするために,厳密な言語学習タスクを提案する。言語境界,制御された文字列サンプリング,データ汚染のない形式的言語学習タスクと,LLMが言語外文字列よりも高い生成確率を付与した場合に,言語習熟度に対する識別的テストを導入する。 経験的に、私たちはそれを見つけました。 (a)FTは分布内一般化においてICLよりも言語習熟度が高いが、どちらも分布外一般化において同等に機能する。 b) 2つのモードが言語を部分的に学習するが、高い習熟度で発散する場合には、それらの帰納バイアスは、文字列生成確率の相関によって測定される。 (c)FTとは異なり、ICLのパフォーマンスは様々なサイズや家族のモデルで大きく異なり、言語のトークン語彙に敏感である。 そこで本研究では,LLMの評価のための制御テストベッドとして,自然言語データセットの分離が困難な動作として,形式言語が約束されることを示す。 ソースコードはhttps://github.com/bishwamittra/formallm.comで公開されています。

関連論文リスト

• Reasoning over Grammar: Can Synthetic Linguistic Reasoning Traces Enhance Low-Resource Machine Translation? [49.7935995447581]
  我々は,低リソース機械翻訳が言語解析と文法推論の中間段階の構造化の恩恵を受けるか検討する。 本稿では,Universal Dependencies Treebank,Dictionary,Gram-rule Bankから,ステップバイステップの言語推論トレースを自動的に生成するパイプラインを提案する。 その結果,言語的推論の痕跡は推論時ガイダンスとして最も有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-02T15:36:12Z)
• Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible [4.7831562043724665]
  GPT-2は各言語と不可能な言語を等しく学習する。 パープレキシティ曲線上で計算された様々な指標の言語間差異を考慮することにより、GPT-2は可能と不可能を体系的に分離することができないことを示す。
  論文  参考訳（メタデータ） (2025-10-08T16:17:13Z)
• Child-Directed Language Does Not Consistently Boost Syntax Learning in Language Models [5.636296752147828]
  英語の児童指向言語(CDL)で訓練された言語モデルは、成人向けテキストの多量化に基づいて訓練されたLMと同様の構文能力に達することを示す。 我々は、CDLとウィキペディアで訓練されたモデルを、2つのLM目標(masked and causal)、3つの言語(英語、フランス語、ドイツ語)、3つの構文的最小ペアベンチマークで比較することによって、これを検証した。 これらのベンチマークの結果,CDLの非一貫性の利点が示され,ほとんどの場合,ウィキペディアモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-29T17:25:36Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Randomly Sampled Language Reasoning Problems Elucidate Limitations of In-Context Learning [9.75748930802634]
  機械学習の性能を向上させるために,テキスト内学習の能力について検討する。 非常に単純なドメインを考える: 単純な言語タスクにおける次のトークン予測。 この課題において LLM は n-gram モデルに一様に劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。