論文の概要: Realize What Matters: Principled Context Representation for Large-Scale Reasoning

• arxiv url: http://arxiv.org/abs/2609.27173v1
• Date: Wed, 23 Sep 2026 00:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.805918
• Title: Realize What Matters: Principled Context Representation for Large-Scale Reasoning
• Title（参考訳）: 重要なことを実現する: 大規模推論のための原則的コンテキスト表現
• Abstract要約: 非常に大きなコンテキストを効果的に表現するAIシステムを設計するための具体的な原理を提案する。 R3Conは原則をより体系的に運用するために設計されたハーネスである。 この結果から,本手法による文脈表現は,モデルスケールへの依存を減らすことができることがわかった。
• 参考スコア（独自算出の注目度）: 38.44455655702695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving complex tasks in domains such as science, medicine, law, and finance often requires assembling interdependent information scattered across vast, heterogeneous sources far beyond model context limits. Existing approaches tackle this challenge by organizing information into more manageable representations over which models can reason, such as graphs, textual memories, and retrieval collections. These representations dictate what downstream reasoning is possible and, ultimately, whether it succeeds; yet their design and construction remain largely ad hoc. In this work, drawing on the cognitive theory of relevance realization, we propose concrete principles for designing AI systems that construct effective representations of very large contexts. We analyze existing approaches and show how their successes and failures map onto their alignment with these principles, and introduce R3Con, a harness designed to operationalize the principles more systematically. We evaluate R3Con against nine state-of-the-art baselines on two recent benchmarks of reasoning over large document corpora. On these benchmarks, R3Con substantially outperforms the strongest baseline, by $20$ and $8.4$ percentage points. It also enables smaller models to outperform much larger ones: R3Con with 4B and 9B models outperforms all evaluated 35B baselines, while R3Con with a 35B-A3B model outperforms Claude Code with Claude-Sonnet-5 at $3.7\times$ lower cost. Our results show that context representations following our principled approach can reduce reliance on model scale, pointing toward a future of AI systems with frontier-level performance powered by smaller models. Our code is available at https://github.com/michaeltheologitis/r3con
• Abstract（参考訳）: 科学、医学、法学、金融といった領域で複雑なタスクを解くには、しばしば、モデルコンテキストの限界を超えた、広大な異質なソースに散在する相互依存情報を組み立てる必要がある。 既存のアプローチでは、情報をより管理可能な表現に整理することで、グラフ、テキストメモリ、検索コレクションなどのモデルが推論可能なものにすることで、この問題に対処している。 これらの表現は、下流の推論が可能であるか、そして最終的に成功するかどうかを規定するが、その設計と建設はいまだ大半がアドホックである。 本研究では、関連実現の認知理論に基づいて、非常に大きなコンテキストの効果的な表現を構成するAIシステムを設計するための具体的な原理を提案する。 既存のアプローチを分析し、それらの成功と失敗がこれらの原則とどのように一致しているかを示し、より体系的に原則を運用するために設計されたハーネスであるR3Conを紹介します。 大規模文書コーパスに対する推論の2つの最近のベンチマークにおいて,9つの最先端ベースラインに対してR3Conを評価した。 これらのベンチマークでは、R3Conは20ドルと8.4ドルのパーセンテージで最強のベースラインを上回っている。 R3Conは4Bおよび9Bモデルで評価された35Bベースラインを上回り、R3Conは35B-A3Bモデルでクロードコードを上回り、Claude-Sonnet-5は3.7\times$低価格である。 この結果から,より小さなモデルを用いたフロンティアレベルの性能を持つAIシステムの将来に向けて,本手法によるコンテキスト表現がモデルスケールへの依存を低減できることが示唆された。 私たちのコードはhttps://github.com/michaeltheologitis/r3conで利用可能です。

関連論文リスト

• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• RISE: Self-Improving Robot Policy with Compositional World Model [52.227523057681786]
  我々は、想像力によるロボット強化学習のスケーラブルなフレームワークRISEを紹介する。 中心となるのは構成的世界モデルであり、制御可能なダイナミクスモデルを通じて多視点の未来を予測し、(ii)進捗値モデルを用いて想像結果を評価する。 これらのコンポーネントはクローズドループの自己改善パイプラインに統合され、虚構のロールアウトを継続的に生成し、利点を推定し、コストのかかる物理的相互作用なしに虚構空間のポリシーを更新する。
  論文  参考訳（メタデータ） (2026-02-11T17:43:36Z)
• Teaching Language Models to Reason with Tools [73.21700643314917]
  emphHint-Engineeringは、推論経路内の最適点に様々なヒントを戦略的に注入する新しいデータ合成戦略である。 CoRTは効率を大幅に向上させ、32Bモデルのトークン使用量を約30%削減し、1.5Bモデルのトークン使用量を50%削減した。
  論文  参考訳（メタデータ） (2025-10-23T08:41:44Z)
• Understanding and Improving Length Generalization in Hierarchical Sparse Attention Models [33.99822400076112]
  チャンクに基づくスパースアテンションは、極端な長さの一般化のための有望なパラダイムとして現れている。 本稿では,これらのモデルを体系的に分解し,その性能を駆動するコアコンポーネントを同定する。 我々は、4KコンテキストでトレーニングされたモデルをRULERとBABILongで3200万トークンに一般化し、トレーニング不要な長さ外挿のための新しい最先端技術を確立した。
  論文  参考訳（メタデータ） (2025-10-20T06:17:57Z)
• A2R: An Asymmetric Two-Stage Reasoning Framework for Parallel Reasoning [57.727084580884075]
  モデルポテンシャルと実際の性能の間のギャップを埋めるために設計された非対称な2段階推論フレームワーク。 A2R-Efficientは、Qwen3-4BとQwen3-8Bシンセサイザーを組み合わせた「小型から大型」の派生型である。 その結果、A2Rはパフォーマンス・ブートスティングのフレームワークであるだけでなく、現実世界のアプリケーションに対して効率的かつ実用的なソリューションであることがわかった。
  論文  参考訳（メタデータ） (2025-09-26T08:27:03Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• GADS: A Super Lightweight Model for Head Pose Estimation [0.0]
  Grouped Attention Deep Sets (GADS)はDeep Setフレームワークに基づいた新しいアーキテクチャである。 ランドマークを領域にグループ化することで、計算の複雑さを減らします。 私たちのモデルは7.5times$小さめで、現在の最も軽量な最先端モデルよりも25times$高速に実行されます。
  論文  参考訳（メタデータ） (2025-04-22T09:53:25Z)
• Efficient Relational Context Perception for Knowledge Graph Completion [25.903926643251076]
  知識グラフ(KG)は知識の構造化された表現を提供するが、しばしば不完全性の課題に悩まされる。 従来の知識グラフ埋め込みモデルは、表現力のある特徴を捉える能力に制限がある。 逐次情報をモデル化し,動的文脈の学習を可能にする三重受容アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-12-31T11:25:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。