論文の概要: Notes to Self: Can LLMs Benefit from Experiential Abstractions?

• arxiv url: http://arxiv.org/abs/2607.20372v1
• Date: Wed, 22 Jul 2026 17:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.160817
• Title: Notes to Self: Can LLMs Benefit from Experiential Abstractions?
• Title（参考訳）: 自己への注記: LLMは経験的抽象化から利益を得ることができるか?
• Abstract要約: 人間は経験を再利用可能な抽象化、例えば戦略や注意深いリマインダーに蒸留する。 我々は,Large Language Models (LLMs) がこのような経験的抽象化の恩恵を受けることができるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 20.232127230004586
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humans distill experience into reusable abstractions, e.g., strategies and cautionary reminders, and apply them to gradually solve problems more effectively. We study whether Large Language Models (LLMs) can similarly benefit from such experiential abstractions. From LLMs' solution traces on the MATH training set, a stronger teacher or the LLMs themselves extract natural-language abstractions into a retrievable library. We explore two usage modes: (1) inference-time retrieval and (2) reinforcement learning (RL) with abstraction-augmented training prompts. Experiential abstractions improve LLM performance on mathematical and logical reasoning benchmarks. Self-extracted abstractions match teacher-extracted ones, and our abstraction usage framework can transfer to other datasets and models. These findings suggest LLMs can extract and apply experiential abstractions much as humans leverage distilled experience.
• Abstract（参考訳）: 人間は、経験を再利用可能な抽象化、例えば戦略や注意深いリマインダーに蒸留し、問題を徐々に効果的に解決するためにそれらを応用する。 我々は,Large Language Models (LLMs) がこのような経験的抽象化の恩恵を享受できるかどうかを考察する。 LLMsのソリューションはMATHトレーニングセットをトレースし、強力な教師やLLM自体が自然言語の抽象化を検索可能なライブラリに抽出する。 本研究では,(1)推論時間検索と(2)強化学習(RL)の2つの利用モードについて検討する。 経験的抽象化により、数学的および論理的推論ベンチマークにおけるLLM性能が向上する。 自己抽出された抽象化は教師が抽出した抽象化と一致し、抽象化の利用フレームワークは他のデータセットやモデルに転送することができます。 これらの結果から, LLMは人間が蒸留経験を活用する限り, 経験的抽象化を抽出し, 適用できることが示唆された。

関連論文リスト

• Learning Abstractions for Hierarchical Planning in Program-Synthesis Agents [54.73952501784257]
  人間は抽象化を学び、それらを効率的に計画し、タスクをまたいで迅速に一般化する。 我々は,再利用可能な抽象化を積極的に学習する新しい大規模言語モデル (LLM) エージェントである TheoryCoder-2 を紹介する。 我々は,BabyAI,Minihack,SokobanのようなVGDLゲームなど,さまざまな環境で実験を行っている。
  論文  参考訳（メタデータ） (2026-01-31T23:01:51Z)
• RLAD: Training LLMs to Discover Abstractions for Solving Reasoning Problems [98.98963933669751]
  問題が発生したら、複数の抽象化を提案できるモデルをトレーニングし、続いてソリューション構築のインセンティブを与えるRLを作ります。 この結果、RLトレーニングパラダイムはRLADと呼ばれ、抽象化ジェネレータとソリューションジェネレータを共同で訓練する。 我々は、大規模なテスト予算で多くのソリューションを生成するよりも、より多くのテスト時間計算を抽象化の生成に割り当てることが、パフォーマンスに有益であることを示しています。
  論文  参考訳（メタデータ） (2025-10-02T17:44:23Z)
• Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance [38.49506722997423]
  大規模言語モデル(LLM)は、様々な推論シナリオにまたがる優れたパフォーマンスと強力な説明可能性を開発した。 LLMは、一貫した正確な答えを提供するために、一般的な事実を抽象化し、適用するのに苦労することが多い。 このことが、LSMが真に推論しているのか、単に記憶しているだけなのか、という激しい議論を巻き起こした。
  論文  参考訳（メタデータ） (2024-03-14T04:06:13Z)
• AbsInstruct: Eliciting Abstraction Ability from LLMs through Explanation Tuning with Plausibility Estimation [60.40409210088717]
  抽象化能力は人間の知性において不可欠であり、NLP研究における様々なタスクにも有用である。 既存の研究によると、LLMは抽象能力に欠けており、その改善方法はまだ解明されていない。 本稿では,命令チューニングによるLLMの抽象化能力を向上するフレームワークAbsInstructを設計する。
  論文  参考訳（メタデータ） (2024-02-16T12:47:11Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• A Theory of Abstraction in Reinforcement Learning [18.976500531441346]
  この論文では、強化学習における抽象論について述べる。 最初に、抽象化のプロセスを実行する関数に対して、3つのdesiderataを提供します。 次に、エージェントがこれらのデシダータに従って抽象化を学習する方法を明確にする、新しいアルゴリズムと分析のスイートを提示します。
  論文  参考訳（メタデータ） (2022-03-01T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。