論文の概要: Can Large Language Models Generalize Procedures Across Representations?

• arxiv url: http://arxiv.org/abs/2602.03542v1
• Date: Tue, 03 Feb 2026 13:56:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.486337
• Title: Can Large Language Models Generalize Procedures Across Representations?
• Title（参考訳）: 大規模言語モデルは表現全体にわたって手続きを一般化できるか?
• Authors: Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert,
• Abstract要約: 我々は、コード、グラフ、自然言語で表現されるプロシージャを含む同型タスクについて研究する。 本稿では,まず記号的,次に自然言語的データに基づいて学習する2段階のデータカリキュラムを提案する。 また,本手法により訓練された1.5B Qwenモデルでは,自然計画においてゼロショット GPT-4o と密に一致させることができる。
• 参考スコア（独自算出の注目度）: 31.057220165183153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are trained and tested extensively on symbolic representations such as code and graphs, yet real-world user tasks are often specified in natural language. To what extent can LLMs generalize across these representations? Here, we approach this question by studying isomorphic tasks involving procedures represented in code, graphs, and natural language (e.g., scheduling steps in planning). We find that training LLMs with popular post-training methods on graphs or code data alone does not reliably generalize to corresponding natural language tasks, while training solely on natural language can lead to inefficient performance gains. To address this gap, we propose a two-stage data curriculum that first trains on symbolic, then natural language data. The curriculum substantially improves model performance across model families and tasks. Remarkably, a 1.5B Qwen model trained by our method can closely match zero-shot GPT-4o in naturalistic planning. Finally, our analysis suggests that successful cross-representation generalization can be interpreted as a form of generative analogy, which our curriculum effectively encourages.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コードやグラフなどのシンボル表現で広く訓練され、テストされるが、実際のユーザタスクは自然言語で指定されることが多い。 LLMは、これらの表現をどの程度一般化できるか? ここでは、コード、グラフ、自然言語(例えば、計画におけるスケジューリングステップ)で表されるプロシージャを含む同型タスクを研究することで、この問題に対処する。 グラフやコードデータだけで人気のあるポストトレーニング手法を用いたLLMのトレーニングは、自然言語のみのトレーニングが非効率なパフォーマンス向上につながるのに対して、対応する自然言語タスクに確実に一般化できないことが判明した。 このギャップに対処するために,まず記号的,次に自然言語的データに基づいて学習する2段階のデータカリキュラムを提案する。 このカリキュラムは、モデルファミリーとタスク間のモデルパフォーマンスを大幅に改善する。 また,本手法により訓練された1.5B Qwenモデルでは,自然計画においてゼロショット GPT-4o と密に一致させることができる。 最後に, 解析結果から, クロス表現の一般化は生成的アナロジーの一形態として解釈できる可能性が示唆された。

関連論文リスト

• Generate to Understand for Representation [3.5325087487696463]
  GURは、言語モデリングと対照的な学習目標を単一のトレーニングステップで組み合わせた事前トレーニングフレームワークである。 GURはラベル付きトレーニングデータなしで印象的な結果を実現し、ゼロショット設定でリコールベンチマークでレシーバーとして、トレーニング済みのすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-06-14T06:00:18Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
  自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。 既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。 コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-13T16:09:36Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Skill Induction and Planning with Latent Language [94.55783888325165]
  我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。 本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。 訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
  論文  参考訳（メタデータ） (2021-10-04T15:36:32Z)
• Learning Natural Language Generation from Scratch [25.984828046001013]
  本稿では,TRUncated ReinForcement Learning for Language (TrufLL)を紹介する。 強化学習(RL)のみを用いて、条件付き言語モデルをゼロから訓練する独自のap-proachである。
  論文  参考訳（メタデータ） (2021-09-20T08:46:51Z)
• Pre-training Universal Language Representation [46.51685959045527]
  この研究は普遍言語表現学習、すなわち、一様ベクトル空間に非常に多様な長さを持つ言語単位やテキストの異なるレベルの埋め込みを導入している。 我々は、よく設計された事前学習スキームが、効果的に普遍的な言語表現をもたらすことを実証的に検証する。
  論文  参考訳（メタデータ） (2021-05-30T09:29:01Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。