論文の概要: Think, But Don't Overthink: Reproducing Recursive Language Models

• arxiv url: http://arxiv.org/abs/2603.02615v1
• Date: Tue, 03 Mar 2026 05:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.647959
• Title: Think, But Don't Overthink: Reproducing Recursive Language Models
• Title（参考訳）: 再帰的な言語モデルを再現する
• Authors: Daren Wang,
• Abstract要約: このプロジェクトはOO Zhangらによって最近提案されたRecursive Language Modelsのフレームワークを再現し拡張する。 このフレームワークは、プロンプトを外部のREPL環境にオフロードすることで、LLM(Large Language Models)がほぼ無限のコンテキストを処理することを可能にする。
• 参考スコア（独自算出の注目度）: 4.94950858749529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This project reproduces and extends the recently proposed ``Recursive Language Models'' (RLMs) framework by Zhang et al. (2026). This framework enables Large Language Models (LLMs) to process near-infinite contexts by offloading the prompt into an external REPL environment. While the original paper relies on a default recursion depth of 1 and suggests deeper recursion as a future direction, this study specifically investigates the impact of scaling the recursion depth. Using state-of-the-art open-source agentic models (DeepSeek v3.2 and Kimi K2), I evaluated pure LLM, RLM (depth=1), and RLM (depth=2) on the S-NIAH and OOLONG benchmarks. The findings reveal a compelling phenomenon: Deeper recursion causes models to ``overthink''. While depth-1 RLMs effectively boost accuracy on complex reasoning tasks, applying deeper recursion (depth=2) or using RLMs on simple retrieval tasks paradoxically degrades performance and exponentially inflates execution time (e.g., from 3.6s to 344.5s) and token costs. Code and data are available at: https://github.com/drbillwang/rlm-reproduction
• Abstract（参考訳）: このプロジェクトは Zhang et al (2026) が最近提案した ‘Recursive Language Models' (RLM) フレームワークを再現し拡張している。 このフレームワークは、プロンプトを外部のREPL環境にオフロードすることで、LLM(Large Language Models)がほぼ無限のコンテキストを処理することを可能にする。 本論文は, 既定再帰深さが1であり, 今後の方向性として深い再帰を示唆するものであるが, 本研究は再帰深さのスケーリングの影響を特に検討する。 最先端のオープンソースエージェントモデル (DeepSeek v3.2 と Kimi K2) を用いて,S-NIAH および OOLONG ベンチマークで純粋な LLM, RLM (deepth=1) および RLM (deepth=2) を評価した。 より深い再帰がモデルに「過剰思考」を引き起こす。 ディープ-1 RLMは複雑な推論タスクの精度を効果的に向上させる一方で、より深い再帰(deepth=2)を適用したり、単純な検索タスクでRTMを使用することは、性能をパラドックス的に低下させ、実行時間(例えば3.6sから344.5s)とトークンコストを指数的に膨らませる。 コードとデータは、https://github.com/drbillwang/rlm-reproduction.comで入手できる。

関連論文リスト

• Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models [63.47909317137073]
  大規模マルチモーダルモデル (LMM) は視覚言語計算タスクにおいて顕著な成功を収めた。 しかし、その膨大なパラメータ数は、トレーニングと推論の両方で利用されていないことが多い。 LMMに適した再帰トランスフォーマーアーキテクチャであるRecursiveVLMを提案する。
  論文  参考訳（メタデータ） (2026-02-09T17:58:23Z)
• Recursive Language Models [14.17788048231183]
  本稿では,長いプロンプトを外部環境として扱う一般的な推論手法であるRecursive Language Models (RLMs)を提案する。 RLMはモデルウィンドウを超える2桁の処理に成功し、たとえ短いプロンプトであっても、ベースLLMの品質を劇的に上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-12-31T03:43:41Z)
• Are Large Language Models Capable of Deep Relational Reasoning? Insights from DeepSeek-R1 and Benchmark Comparisons [11.429641860623143]
  3つの最先端大規模言語モデル(LLM)の推論能力の評価と比較を行った。 DeepSeek-R1は、複数のタスクと問題サイズにまたがる最高F1スコアを一貫して達成している。 DeepSeek-R1の長時間の連鎖反応の詳細な分析により、独自の計画と検証戦略が明らかになった。
  論文  参考訳（メタデータ） (2025-06-29T07:37:49Z)
• TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
  高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。 我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-03T09:23:41Z)
• R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning [60.17074283370798]
  Retrieval-Augmented Generation (RAG)は、外部知識をLLM(Large Language Models)と統合し、事実の正しさと幻覚を高める。 我々は、 $textbfR$einforcement Learning を用いて LLM に $textbfR$eason と $textbfR$etrieve を段階的に学習させる $textbfR3-RAG$ を提案する。
  論文  参考訳（メタデータ） (2025-05-26T12:25:37Z)
• Large Language Model Can Be a Foundation for Hidden Rationale-Based Retrieval [12.83513794686623]
  本稿では,隠れ合理性検索という,より困難なタイプの検索タスクを提案し,検討する。 このような問題に対処するためには、命令調整付き大規模言語モデル(LLM)とクロスエンコーダアーキテクチャが妥当な選択である可能性がある。 我々は、RaHoReによってこの検索フレームワークを命名し、感情支援会話(ESC)におけるゼロショットおよび微調整性能上の優位性を検証した。
  論文  参考訳（メタデータ） (2024-12-21T13:19:15Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Full Automation of Goal-driven LLM Dialog Threads with And-Or Recursors and Refiner Oracles [0.0]
  我々は,LLMダイアログスレッドのステップバイステップ推論を,選択肢(ORノード)を探索し,詳細(ANDノード)を与えられた深さまで拡張することで自動化する。 本アルゴリズムは,Hhorn Clauseインタプリタの簡単な再帰実装から導かれる。 応用として、結果予測、因果的説明、推薦システム、科学文献の話題に焦点をあてた探索の実装をスケッチする。
  論文  参考訳（メタデータ） (2023-06-24T23:33:00Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Recursive Reinforcement Learning [4.429642479975602]
  再帰は、潜在的無限のオブジェクトを有限に記述する基本的なパラダイムである。 我々はマルコフ決定プロセスの集合として記述された環境における最適ポリシーを計算できるRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-23T00:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。