Fugu-MT 論文翻訳(概要): Toward Structured Knowledge Reasoning: Contrastive Retrieval-Augmented Generation on Experience

論文の概要: Toward Structured Knowledge Reasoning: Contrastive Retrieval-Augmented Generation on Experience

arxiv url: http://arxiv.org/abs/2506.00842v1
Date: Sun, 01 Jun 2025 05:22:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 21:47:33.695619
Title: Toward Structured Knowledge Reasoning: Contrastive Retrieval-Augmented Generation on Experience
Title（参考訳）: 構造的知識推論へ向けて : 経験に基づくコントラスト的検索強化世代
Authors: Jiawei Gu, Ziting Xian, Yuanzhen Xie, Ye Liu, Enjie Liu, Ruichao Zhong, Mochi Gao, Yunzhi Tan, Bo Hu, Zang Li,
Abstract要約: 大規模言語モデル(LLM)は、平易なテキストタスクでは高いパフォーマンスを達成するが、テーブルやデータベースのような構造化データでは性能が低い。本稿では,体験記憶表現を構築するフレームワークであるContrastive Retrieval-Augmented Generation on Experience (CoRE)を紹介する。実験の結果、CoREはパフォーマンスを著しく改善し、平均利得は3.44%と4.24%となり、挑戦的なタスクは最大17.2%向上した。
参考スコア（独自算出の注目度）: 8.270615745804557
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large language models (LLMs) achieve strong performance on plain text tasks but underperform on structured data like tables and databases. Potential challenges arise from their underexposure during pre-training and rigid text-to-structure transfer mechanisms. Unlike humans who seamlessly apply learned patterns across data modalities, LLMs struggle to infer implicit relationships embedded in tabular formats, especially in the absence of explicit structural guidance. To bridge this cognitive gap, we introduce Contrastive Retrieval-Augmented Generation on Experience (CoRE), a framework that builds experience memory representations and enhances generalization through contrastive In-Context Learning (ICL) to simulate human-like knowledge transfer. Experiments on Text-to-SQL and TableQA show CoRE significantly improves performance, achieving average gains of 3.44% and 4.24%, with up to 17.2% on challenging tasks. Our Monte Carlo Tree Search (MCTS)-generated Experience Memory expands training data 8-9x, enhancing diversity and domain coverage. This training-free and continual method propels LLMs toward structured knowledge expertise.
Abstract（参考訳）: 大規模言語モデル(LLM)は、平易なテキストタスクでは高いパフォーマンスを達成するが、テーブルやデータベースのような構造化データでは性能が低い。潜在的な課題は、事前訓練と厳密なテキストから構造への伝達機構の間における露光不足から生じる。学習パターンをデータモダリティにシームレスに適用する人間とは異なり、LLMは特に明示的な構造的ガイダンスがない場合に、表形式に埋め込まれた暗黙の関係を推測するのに苦労する。この認知的ギャップを埋めるため,経験的記憶表現を構築するフレームワークであるContrastive Retrieval-Augmented Generation on Experience (CoRE)を導入する。 Text-to-SQLとTableQAの実験では、CoREはパフォーマンスを大幅に改善し、平均的な改善は3.44%と4.24%で、挑戦的なタスクは最大17.2%向上した。私たちのMonte Carlo Tree Search (MCTS)の生成したExperience Memoryは、トレーニングデータ8～9倍を拡張し、多様性とドメインカバレッジを高めます。このトレーニングフリーで連続的な手法は、構造化知識の専門知識に向けてLSMを推進している。

関連論文リスト

LLM Inference Enhanced by External Knowledge: A Survey [16.319049759753106]
本研究では,外部知識を用いた大規模言語モデル(LLM)の強化戦略について検討する。比較分析では、解釈可能性、スケーラビリティ、パフォーマンスのトレードオフを強調しています。
論文参考訳（メタデータ） (2025-05-30T09:08:51Z)
An Empirical Study of Federated Prompt Learning for Vision Language Model [50.73746120012352]
本稿では,言語素性学習と視覚素性学習の行動的差異を系統的に検討する。クライアントスケールやアグリゲーション戦略,プロンプト長といった,さまざまなflの影響評価実験を行う。ラベルスキューとドメインシフトが共存する複雑なシナリオにおいて、迅速な学習を促進するための戦略を検討する。
論文参考訳（メタデータ） (2025-05-29T03:09:15Z)
Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models [79.90523648823522]
多段階連続学習は破滅的な忘れを招きかねない。本稿では, 3つの緩和戦略, モデルマージ, LoRAスケーリング係数の割引, 経験リプレイについて検討する。その結果,経験的リプレイが最も効果的であることが示され,他の手法と組み合わせることでさらに効果が得られた。
論文参考訳（メタデータ） (2025-05-23T05:50:14Z)
DSMentor: Enhancing Data Science Agents with Curriculum Learning and Online Knowledge Accumulation [59.79833777420334]
大規模言語モデル(LLM)エージェントは、複雑なデータサイエンス問題を解決するためのコードを生成する上で、有望な性能を示している。我々は, LLMエージェントの性能を向上させるために, DSMentorと呼ばれる新しい推論時間最適化フレームワークを開発した。我々の研究は、推論中に知識を蓄積し活用するための効果的な戦略を開発することの重要性を浮き彫りにしている。
論文参考訳（メタデータ） (2025-05-20T10:16:21Z)
RAS: Retrieval-And-Structuring for Knowledge-Intensive LLM Generation [46.237206695937246]
本稿では,クエリ固有の知識グラフを動的に構築するフレームワークであるRetrieval-And-Structuring (RAS)を提案する。 7つの知識集約ベンチマークでは、RASは一貫して強力なベースラインを上回っている。この結果から,動的クエリ固有知識構造化は,言語モデル生成における推論精度と堅牢性を向上させるための堅牢な経路を提供することが示された。
論文参考訳（メタデータ） (2025-02-16T05:01:49Z)
MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
論文参考訳（メタデータ） (2024-09-09T17:44:00Z)
On The Role of Prompt Construction In Enhancing Efficacy and Efficiency of LLM-Based Tabular Data Generation [16.79923685316516]
本稿では, エキスパート誘導, LLM誘導, ノベル・マッピングの3つのプロプライエタリ・コンストラクションプロトコルについて検討する。文脈に富んだプロンプトは、データ生成の品質とトレーニング効率を大幅に向上させる。
論文参考訳（メタデータ） (2024-09-06T00:02:09Z)
Reasoning Factual Knowledge in Structured Data with Large Language Models [26.00548862629018]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げている。構造化データには、事前学習に使われる非構造化テキストとは異なる独特の特徴がある。本研究では,LLMの構造的推論能力を評価するためにStructFactというベンチマークを提案する。
論文参考訳（メタデータ） (2024-08-22T08:05:09Z)
Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文参考訳（メタデータ） (2024-01-16T08:44:29Z)
Knowledgeable In-Context Tuning: Exploring and Exploiting Factual Knowledge for In-Context Learning [37.22349652230841]
大規模言語モデル(LLM)は、テキストベースのプロンプトとしてラベル付きトレーニング例を条件にすることで、コンテキスト内学習(ICL)を可能にする。本稿では、3つの中核面におけるICLの性能に事実知識が不可欠であることを実証する。 In-Context Tuning (KICT) フレームワークを導入し,ICLの性能向上を図る。
論文参考訳（メタデータ） (2023-09-26T09:06:39Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。