Fugu-MT 論文翻訳(概要): Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

論文の概要: Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

arxiv url: http://arxiv.org/abs/2504.20752v1
Date: Tue, 29 Apr 2025 13:33:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.908262
Title: Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers
Title（参考訳）: 野生におけるグローキング:トランスフォーマーを用いた実世界のマルチホップ推論のためのデータ拡張
Authors: Roman Abramov, Felix Steinbauer, Gjergji Kasneci,
Abstract要約: グルーキングを現実の事実データに拡張し、データセットの分散性の課題に対処します。驚くべきことに、たとえ実際に誤った合成データであっても、創発的推論回路を強化することができる。提案手法は,マルチホップ推論ベンチマークにおいて最大95-100%の精度を実現する。
参考スコア（独自算出の注目度）: 9.50669909278749
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers have achieved great success in numerous NLP tasks but continue to exhibit notable gaps in multi-step factual reasoning, especially when real-world knowledge is sparse. Recent advances in grokking have demonstrated that neural networks can transition from memorizing to perfectly generalizing once they detect underlying logical patterns - yet these studies have primarily used small, synthetic tasks. In this paper, for the first time, we extend grokking to real-world factual data and address the challenge of dataset sparsity by augmenting existing knowledge graphs with carefully designed synthetic data to raise the ratio $\phi_r$ of inferred facts to atomic facts above the threshold required for grokking. Surprisingly, we find that even factually incorrect synthetic data can strengthen emergent reasoning circuits rather than degrade accuracy, as it forces the model to rely on relational structure rather than memorization. When evaluated on multi-hop reasoning benchmarks, our approach achieves up to 95-100% accuracy on 2WikiMultiHopQA - substantially improving over strong baselines and matching or exceeding current state-of-the-art results. We further provide an in-depth analysis of how increasing $\phi_r$ drives the formation of generalizing circuits inside Transformers. Our findings suggest that grokking-based data augmentation can unlock implicit multi-hop reasoning capabilities, opening the door to more robust and interpretable factual reasoning in large-scale language models.
Abstract（参考訳）: トランスフォーマーは多くのNLPタスクで大きな成功を収めてきたが、特に現実世界の知識が不足している場合、多段階の事実推論において顕著なギャップを呈し続けている。グラッキングの最近の進歩は、ニューラルネットワークが基礎となる論理パターンを検出したら記憶から完全に一般化できることを示した。本稿では,グルーキングを現実の事実データに拡張し,既存の知識グラフを慎重に設計した合成データで拡張することで,グルーキングに必要なしきい値以上の原子事実に対する推定事実の比$\phi_r$を上昇させることにより,データセットスペーサの課題に対処する。驚くべきことに、たとえ実際に誤った合成データであっても、記憶ではなく関係構造に頼らざるを得なくなるため、精度を低下させるのではなく、創発的推論回路を強化することができる。マルチホップ推論のベンチマークで評価すると、2WikiMultiHopQAで95-100%の精度が達成される。さらに、$\phi_r$の増加がトランスフォーマー内の一般化回路の形成をいかに促進するかを詳細に分析する。以上の結果から,グルーキングに基づくデータ拡張により,暗黙のマルチホップ推論能力が解放され,大規模言語モデルにおけるより堅牢で解釈可能な事実推論への扉が開けることが示唆された。

関連論文リスト

Mixture of Parrots: Experts improve memorization more than reasoning [72.445819694797]
専門家の数が増えるにつれて、推論能力が飽和している間に記憶性能が一貫して向上することを示す。専門家の増加は知識集約的なタスクの解決に役立ちますが、推論タスクには同じようなメリットが得られません。
論文参考訳（メタデータ） (2024-10-24T17:54:41Z)
Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
論文参考訳（メタデータ） (2024-07-20T21:24:40Z)
Discovering physical laws with parallel combinatorial tree search [57.05912962368898]
記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。既存のアルゴリズムは10年以上にわたって精度と効率の重大なボトルネックに直面してきた。制約データから汎用数学的表現を効率的に抽出する並列木探索(PCTS)モデルを提案する。
論文参考訳（メタデータ） (2024-07-05T10:41:15Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization [22.033370572209744]
我々は、トランスフォーマーがパラメトリック知識よりも暗黙的に推論できるかどうかを研究する。我々は2つの代表的な推論タイプ、構成と比較に焦点を当てる。トランスフォーマーは暗黙の推論を学習できるが、それはグルーキングでしか学べない。
論文参考訳（メタデータ） (2024-05-23T21:42:19Z)
FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion [24.964973946366335]
我々は,真の微調整を模倣することを目的とした新しい検索手法FT2Raを開発した。 FT2RaはUniXcoderの最良のベースライン方式に比べて精度が4.29%向上している。
論文参考訳（メタデータ） (2024-04-02T01:42:15Z)
Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文参考訳（メタデータ） (2023-12-30T17:05:31Z)
EXPLAIN, EDIT, GENERATE: Rationale-Sensitive Counterfactual Data Augmentation for Multi-hop Fact Verification [28.453817513380276]
言語学的に多様でラベルに富む対物を生成するための有理感な手法を開発した。具体的には、多様で流動的なカウンターファクトは、Explain-Edit-Generateアーキテクチャを介して生成される。実験の結果,提案手法はSOTAベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-10-23T02:39:14Z)
Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
論文参考訳（メタデータ） (2023-05-15T17:15:40Z)
Pushing the Limits of Rule Reasoning in Transformers through Natural Language Satisfiability [30.01308882849197]
本稿では,アルゴリズム推論データセットを作成するための新しい手法を提案する。鍵となる考え方は、ハードプロポーズSAT問題の経験的なサンプリングや、言語に関する複雑性理論的な研究から洞察を得ることである。十分なトレーニングデータを得た現在のトランスフォーマーは、結果のNLSat問題を解決するのに驚くほど堅牢であることがわかった。
論文参考訳（メタデータ） (2021-12-16T17:47:20Z)
On the Robustness and Generalization of Deep Learning Driven Full Waveform Inversion [2.5382095320488665]
フルウェーブフォーム・インバージョン(FWI)は画像から画像への変換タスクとして一般的にエピトマイズされる。合成データでトレーニングされているにもかかわらず、ディープラーニング駆動のFWIは、十分な実世界のデータで評価すると、良好に動作することが期待されている。これらのディープニューラルネットワークはどの程度堅牢で、どのように一般化されているのか?
論文参考訳（メタデータ） (2021-11-28T19:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。