論文の概要: Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context

• arxiv url: http://arxiv.org/abs/2603.15653v1
• Date: Sat, 07 Mar 2026 01:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.344399
• Title: Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context
• Title（参考訳）: 再帰的言語モデルの不確かさ--長期文脈における自己回帰型プログラム探索の有効性について
• Authors: Keivan Alizadeh, Parshin Shojaee, Minsik Cho, Mehrdad Farajtabar,
• Abstract要約: 言語モデルの長文処理は依然として重要な課題である。 Recursive Language Models (RLM)のような最近の研究は、長いコンテキストをサブコールに分解することで、この問題にアプローチしている。 SRLMは、不確実性を認識した自己回帰とプログラム的コンテキスト相互作用を強化するフレームワークである。
• 参考スコア（独自算出の注目度）: 24.0800651348312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context handling remains a core challenge for language models: even with extended context windows, models often fail to reliably extract, reason over, and use the information across long contexts. Recent works like Recursive Language Models (RLM) have approached this challenge by agentic way of decomposing long contexts into recursive sub-calls through programmatic interaction at inference. While promising, the success of RLM critically depends on how these context-interaction programs are selected, which has remained largely unexplored. In this paper, we study this problem and introduce SRLM, a framework that augments programmatic context interaction with uncertainty-aware Self-Reflection. SRLM leverages three intrinsic signals: self consistency, reasoning length, and verbalized confidence. These serve as complementary indicators of a model's internal uncertainty, and the model uses them to evaluate and compare candidate context-interaction programs. Extensive experiments across diverse benchmark datasets, context lengths, and backbone models, show that SRLM consistently outperforms state-of-the-art baselines, yielding up to 22% improvement over RLM under the same time budget. Our findings show that recursion itself is not the primary driver of performance in RLM, and a simple self-reflective program search can match or surpass RLM without requiring self-query or explicit recursion mechanisms. We find that for context lengths within the model's window, RLMs with recursion often degrade performance relative to the base model, whereas SRLM yields consistent gains across both short and long contexts. We also find that RLM is less effective in tasks with semantically intensive nature, where heuristic program search is insufficient and broader contextual understanding is required, while self-reflection in SRLM provides a semantic signal that better steers reasoning in these scenarios.
• Abstract（参考訳）: 長いコンテキストのハンドリングは、言語モデルにとって依然として重要な課題である: 拡張されたコンテキストウィンドウであっても、モデルは、長いコンテキストをまたいだ情報を確実に抽出し、推論し、利用するのに失敗する。 Recursive Language Models (RLM)のような最近の研究は、推論におけるプログラム的相互作用を通じて、長いコンテキストを再帰的なサブコールに分解するエージェント的な方法によって、この問題にアプローチしている。 将来性はあるものの、RLMの成功はこれらの文脈相互作用プログラムをどのように選択するかに大きく依存する。 本稿では,この問題を考察し,不確実性を考慮した自己回帰とプログラム的コンテキスト相互作用を強化するフレームワークSRLMを紹介する。 SRLMは、自己整合性、推論長、言語化された信頼の3つの本質的な信号を利用する。 これらはモデルの内部不確実性の補完的な指標として機能し、モデルがそれらを用いて候補となる文脈相互作用プログラムを評価し、比較する。 さまざまなベンチマークデータセット、コンテキスト長、バックボーンモデルにわたる大規模な実験は、SRLMが一貫して最先端のベースラインを上回り、同じ予算下でRLMよりも最大22%改善していることを示している。 以上の結果から,再帰自体がRTMにおけるパフォーマンスの第一の要因ではないことが明らかとなり,自己クエリや明示的な再帰機構を必要とせず,簡単な自己回帰プログラム探索がRTMに適合または超えることが示唆された。 モデルウィンドウ内でのコンテキスト長の場合,再帰性を持つRLMはベースモデルと比較して性能が低下することが多いのに対して,SRLMは短いコンテキストと長いコンテキストの両方で一貫した利得が得られる。 また、SRLMの自己回帰は、これらのシナリオにおいてより優れたステアリングを行うセマンティックシグナルを提供する一方で、ヒューリスティックなプログラム探索が不十分で、より広い文脈で理解する必要がある。

関連論文リスト

• Recursive Language Models [14.17788048231183]
  本稿では,長いプロンプトを外部環境として扱う一般的な推論手法であるRecursive Language Models (RLMs)を提案する。 RLMはモデルウィンドウを超える2桁の処理に成功し、たとえ短いプロンプトであっても、ベースLLMの品質を劇的に上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-12-31T03:43:41Z)
• SSR: Socratic Self-Refine for Large Language Model Reasoning [78.62319252287938]
  Socratic Self-Refine (SSR)は、大規模言語モデル(LLM)のきめ細かい評価と精度向上のための新しいフレームワークである。 提案したSSRはモデル応答を検証可能な(サブクエスト,サブサブアンサー)ペアに分解し,ステップレベルの信頼度推定を可能にする。 5つの推論ベンチマークと3つのLCMによる実証的な結果から、SSRは一貫して最先端の反復的自己修正ベースラインを上回っていることが分かる。
  論文  参考訳（メタデータ） (2025-11-13T18:47:07Z)
• SUTA-LM: Bridging Test-Time Adaptation and Language Model Rescoring for Robust ASR [58.31068047426522]
  テスト時間適応(TTA)は、推論中にモデルを調整することで緩和することを目的としている。 最近の研究は、ビーム探索再構成や生成誤り訂正といった手法を用いて、TTAと外部言語モデルの組み合わせについて検討している。 本稿では,SUTAの簡易かつ効果的な拡張であるSUTA-LMを提案する。 18種類のASRデータセットの実験により、SUTA-LMは幅広い領域で堅牢な結果が得られることが示された。
  論文  参考訳（メタデータ） (2025-06-10T02:50:20Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• On the Temporal Question-Answering Capabilities of Large Language Models Over Anonymized Data [1.2979906794584584]
  訓練中に存在しないデータに対する時間的推論タスクにおけるLarge Language Model(LLM)の適用性はまだ検討されていない分野である。 本稿では、構造化および半構造化された匿名化データに焦点をあてて、このトピックについて論じる。 自然言語における17の共通時間的推論タスクを特定し,そのアルゴリズム的構成要素に着目した。
  論文  参考訳（メタデータ） (2025-04-10T10:48:42Z)
• Auto-RAG: Autonomous Retrieval-Augmented Generation for Large Language Models [31.769428095250912]
  Auto-RAGは大規模言語モデル(LLM)の推論機能を中心とした自律的反復検索モデルである 本研究では,反復検索における推論に基づく意思決定命令を自律的に合成する手法を開発した。 Auto-RAGは自然言語で反復的な検索プロセスを表現し、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-11-29T03:01:05Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks [0.0]
  関係抽出(RE)は、構造化されていないデータを知識グラフ(KG)のような構造化形式に変換するために重要である プレトレーニング言語モデル(PLM)を活用した最近の研究は、この分野で大きな成功を収めている。 本研究では、微調整LDMの性能と、Retrieval Augmented-based (RAG) REアプローチへの統合について検討する。
  論文  参考訳（メタデータ） (2024-06-20T21:27:57Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。