論文の概要: AbstRaL: Augmenting LLMs' Reasoning by Reinforcing Abstract Thinking

• arxiv url: http://arxiv.org/abs/2506.07751v2
• Date: Wed, 11 Jun 2025 00:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 16:13:48.030765
• Title: AbstRaL: Augmenting LLMs' Reasoning by Reinforcing Abstract Thinking
• Title（参考訳）: AbstRaL: 抽象思考の強化によるLLM推論の強化
• Authors: Silin Gao, Antoine Bosselut, Samy Bengio, Emmanuel Abbe,
• Abstract要約: 大規模言語モデル(LLM)は、しばしばその推論に頑健さを欠いている。 このアプローチは、推論の問題に重点を置いています。 この抽象化プロセスは、単に教師付き微調整よりも強化学習(RL)によりより良く得られる。
• 参考スコア（独自算出の注目度）: 38.8730008545358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that large language models (LLMs), especially smaller ones, often lack robustness in their reasoning. I.e., they tend to experience performance drops when faced with distribution shifts, such as changes to numerical or nominal variables, or insertions of distracting clauses. A possible strategy to address this involves generating synthetic data to further "instantiate" reasoning problems on potential variations. In contrast, our approach focuses on "abstracting" reasoning problems. This not only helps counteract distribution shifts but also facilitates the connection to symbolic tools for deriving solutions. We find that this abstraction process is better acquired through reinforcement learning (RL) than just supervised fine-tuning, which often fails to produce faithful abstractions. Our method, AbstRaL -- which promotes abstract reasoning in LLMs using RL on granular abstraction data -- significantly mitigates performance degradation on recent GSM perturbation benchmarks.
• Abstract（参考訳）: 近年の研究では、特により小さな言語モデル(LLM)は、その推論に堅牢性を欠いていることが示されている。 すなわち、数値変数や名目変数の変更や、気を散らす節の挿入など、分散シフトに直面した時にパフォーマンス低下を経験する傾向にある。 この問題に対処するための戦略は、潜在的な変動に関する推論問題をさらに「確証」するために合成データを生成することである。 対照的に、我々のアプローチは推論の問題に焦点をあてている。 これは分布シフトに反するだけでなく、ソリューションを導出するためのシンボリックツールとの接続を促進する。 この抽象化プロセスは、単に教師付き微調整よりも強化学習(RL)によりよりよく取得され、しばしば忠実な抽象化が得られない。 我々の手法であるAbstRaLは、抽象抽象データ上でRLを用いてLLMの抽象的推論を促進することで、最近のGSM摂動ベンチマークの性能劣化を著しく軽減する。

関連論文リスト

• Perceptual Decoupling for Scalable Multi-modal Reasoning via Reward-Optimized Captioning [78.17782197231325]
  本稿では,抽出者のキャプション動作と推論目的を一致させる推論誘導型強化学習戦略を提案する。 マルチモーダルな数学と科学ベンチマークの実験により、提案手法は最先端の平均性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance [38.49506722997423]
  大規模言語モデル(LLM)は、様々な推論シナリオにまたがる優れたパフォーマンスと強力な説明可能性を開発した。 LLMは、一貫した正確な答えを提供するために、一般的な事実を抽象化し、適用するのに苦労することが多い。 このことが、LSMが真に推論しているのか、単に記憶しているだけなのか、という激しい議論を巻き起こした。
  論文  参考訳（メタデータ） (2024-03-14T04:06:13Z)
• Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [10.421832675327712]
  本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
  論文  参考訳（メタデータ） (2023-11-12T05:12:49Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models [32.95155349925248]
  本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。 マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。 本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
  論文  参考訳（メタデータ） (2023-05-23T00:16:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。