論文の概要: Joint Enhancement of Relational Reasoning for Long-Context LLMs

• arxiv url: http://arxiv.org/abs/2508.20351v1
• Date: Thu, 28 Aug 2025 01:54:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.891364
• Title: Joint Enhancement of Relational Reasoning for Long-Context LLMs
• Title（参考訳）: 長期LLMにおけるリレーショナル推論の強化
• Authors: Zhirui Chen, Wei Shen, Jiashui Huang, Ling Shao,
• Abstract要約: 大規模言語モデル(LLM)は、メモリ制限と、複雑で長いコンテキストのタスクに対処できないため、長いコンテキストに苦しむ。 グラフベースの推論による長文理解を強化するための新しいフレームワークである textbfJERR を提案する。
• 参考スコア（独自算出の注目度）: 39.679627202160425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress, large language models (LLMs) still struggle with long contexts due to memory limitations and their inability to tackle complex and long-context tasks. Additionally, LLMs often suffer from a lack of transparency and are prone to producing hallucinations. To address these challenges, we propose \textbf{JERR}, a novel framework designed to enhance long-context comprehension via graph-based reasoning in LLMs. JERR integrates three key components: synopsis extraction, graph construction, and relational reasoning. First, synopsis is extracted by chunking text strategically, allowing the model to summarize and understand information more efficiently. Second, we build a directed acyclic graph (DAG) to resolve redundancy, ensuring logical consistency and clarity. Finally, we incorporate Monte Carlo Tree Search (MCTS) to help the model navigate complex reasoning paths, ensuring more accurate and interpretable outputs. This framework provides a novel solution that enables LLMs to handle extended contexts and complex reasoning tasks with improved reliability and transparency. Experimental results show that JERR consistently outperforms all baselines on the ROUGE and F1 metrics, achieving the highest scores on the LLM-Rater evaluation.
• Abstract（参考訳）: 大幅な進歩にもかかわらず、大きな言語モデル(LLM)は、メモリの制限と、複雑で長いコンテキストのタスクに対処できないため、長いコンテキストに苦しむ。 加えて、LSMは透明性の欠如に悩まされ、幻覚を発生させる傾向がある。 これらの課題に対処するために、LLMにおけるグラフベースの推論による長文理解を強化するために設計された新しいフレームワークである \textbf{JERR} を提案する。 JERRは、シナプス抽出、グラフ構築、リレーショナル推論の3つの重要なコンポーネントを統合している。 まず、テキストを戦略的にチャンクすることでシナプスを抽出し、より効率的に情報を要約し理解することができる。 第2に、冗長性を解消し、論理的一貫性と明確性を確保するために、有向非巡回グラフ(DAG)を構築する。 最後に、モンテカルロ木探索(MCTS)を導入し、モデルが複雑な推論経路をナビゲートし、より正確で解釈可能な出力を保証する。 このフレームワークは、LLMが信頼性と透明性を改善した拡張コンテキストと複雑な推論タスクを処理できるようにする新しいソリューションを提供する。 実験結果から,JERRはROUGEとF1の基準線を常に上回り,LLM-Raterの評価において最高スコアを達成していることがわかった。

関連論文リスト

• SELT: Self-Evaluation Tree Search for LLMs with Task Decomposition [5.5688696788198975]
  外部報酬モデルに頼らずにLSM推論を強化する新しいフレームワークであるSELT(Self-Evaluation LLM Tree Search)を紹介する。 知識に基づくMMLUとツール学習データセットSeal-Toolsを含む,挑戦的なベンチマークに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-09T08:52:27Z)
• Mapping the Minds of LLMs: A Graph-Based Analysis of Reasoning LLM [11.181783720439563]
  大規模言語モデル(LLM)は、拡張されたChain-of-Thought(CoT)生成を通じて洗練された推論能力を示す。 RLMは、数発のプロンプトによる性能劣化など、直感的で不安定な動作を示すことが多い。 RLMの推論過程をより良くモデル化するための統一的なグラフベース分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T03:54:57Z)
• ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning [92.76959707441954]
  我々はLLM推論性能を評価するための総合的な評価フレームワークであるZebraLogicを紹介した。 ZebraLogicは、制御可能で定量化可能な複雑さを持つパズルの生成を可能にする。 その結果,複雑性が増大するにつれて,精度が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-03T06:44:49Z)
• Systematic Evaluation of Long-Context LLMs on Financial Concepts [4.299993837670688]
  LC LLMの最先端GPT-4スイートの性能評価を行い,課題を段階的に解決する方法について検討した。 LC LLMは, 簡単な作業であっても, より長いコンテキスト長で脆性を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-12-19T20:26:55Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception [10.614437503578856]
  本稿では,チャンキング品質を特に向上させるメタチャンキングフレームワークを提案する。 我々は不確実性に基づく2つの適応的チャンキング手法、すなわちPerplexity ChunkingとMargin Sampling Chunkingを設計する。 我々は,2段階の階層的要約生成プロセスと3段階のテキストチャンク書き換え手順を含むグローバル情報補償機構を確立する。
  論文  参考訳（メタデータ） (2024-10-16T17:59:32Z)
• Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
  Retrieval-augmented Generation (RAG)は、再活性化されたLarge Language Models (LLM)である。 長文グローバル要約のためのRAGを強化するために,$textitgraph of record$$(textbfGoR$)を提案する。 GoRには、$textitgraph Neural Network$と、セルフ教師付きモデルトレーニングのための、詳しく設計された$textitBERTScore$ベースの目的がある。
  論文  参考訳（メタデータ） (2024-10-14T18:34:29Z)
• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。