論文の概要: Collaborative LLM Numerical Reasoning with Local Data Protection

• arxiv url: http://arxiv.org/abs/2504.00299v1
• Date: Tue, 01 Apr 2025 00:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:29.569919
• Title: Collaborative LLM Numerical Reasoning with Local Data Protection
• Title（参考訳）: 局所データ保護を用いたLLM数値推論
• Authors: Min Zhang, Yuzhe Lu, Yun Zhou, Panpan Xu, Lin Lee Cheong, Chang-Tien Lu, Haozhu Wang,
• Abstract要約: 2つの重要な革新を伴うモデルコラボレーションフレームワークを提示します。 コンテキスト対応合成戦略は、論理的一貫性を維持しながらクエリドメインをシフトする。 ツールベースの回答再構成アプローチでは、リモート生成した問題解決パターンをコードスニペットで再利用する。
• 参考スコア（独自算出の注目度）: 27.802821932335533
• License:
• Abstract: Numerical reasoning over documents, which demands both contextual understanding and logical inference, is challenging for low-capacity local models deployed on computation-constrained devices. Although such complex reasoning queries could be routed to powerful remote models like GPT-4, exposing local data raises significant data leakage concerns. Existing mitigation methods generate problem descriptions or examples for remote assistance. However, the inherent complexity of numerical reasoning hinders the local model from generating logically equivalent queries and accurately inferring answers with remote guidance. In this paper, we present a model collaboration framework with two key innovations: (1) a context-aware synthesis strategy that shifts the query domains while preserving logical consistency; and (2) a tool-based answer reconstruction approach that reuses the remote-generated problem-solving pattern with code snippets. Experimental results demonstrate that our method achieves better reasoning accuracy than solely using local models while providing stronger data protection than fully relying on remote models. Furthermore, our method improves accuracy by 16.2% - 43.6% while reducing data leakage by 2.3% - 44.6% compared to existing data protection approaches.
• Abstract（参考訳）: 文脈的理解と論理的推論の両方を必要とする文書に対する数値推論は、計算制約のあるデバイスに展開される低容量なローカルモデルでは困難である。 このような複雑な推論クエリは、GPT-4のような強力なリモートモデルにルーティングされる可能性があるが、ローカルデータを公開すると、重大なデータ漏洩の懸念が生じる。 既存の緩和手法は、遠隔支援のための問題記述や例を生成する。 しかし、数値推論の本質的な複雑さは、論理的に等価なクエリを生成し、リモートガイダンスで正確に回答を推測することを妨げる。 本稿では,(1)論理的整合性を維持しながらクエリドメインを変換するコンテキスト認識型合成戦略,(2)リモート生成した問題解決パターンをコードスニペットで再利用するツールベースの回答再構築手法を提案する。 実験結果から,本手法は,ローカルモデルのみを用いた場合よりも,リモートモデルに完全に依存する場合よりも強いデータ保護を提供しながら,推論精度が向上することが示された。 さらに,既存のデータ保護手法と比較して,データの漏洩量を2.3%から44.6%削減しつつ,精度を16.2%から43.6%向上させる。

関連論文リスト

• Reliable Text-to-SQL with Adaptive Abstention [21.07332675929629]
  本稿では,提案手法を組み込むことにより,クエリ生成の信頼性を向上させる新しいフレームワークを提案する。 我々はBIRDベンチマークの総合的な実験を通じてアプローチを検証するとともに、堅牢性と信頼性の大幅な向上を実証した。
  論文  参考訳（メタデータ） (2025-01-18T19:36:37Z)
• One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
  One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。 我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
  論文  参考訳（メタデータ） (2024-12-06T17:05:34Z)
• A Multi-Agent Approach to Fault Localization via Graph-Based Retrieval and Reflexion [8.22737389683156]
  従来のフォールトローカライゼーション技術は、広範なトレーニングデータセットと高い計算資源を必要とする。 大規模言語モデル(LLM)の最近の進歩は、コード理解と推論を強化することで、新たな機会を提供する。 LLM4FLは3つの特殊なLLMエージェントを利用するマルチエージェントの故障局所化フレームワークである。 14のJavaプロジェクトから675の障害を含むDefects4Jベンチマークで評価され、LLM4FLはAutoFLよりも18.55%、SoapFLより4.82%、Top-1の精度が18.55%向上した。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)
• Improving Retrieval Augmented Language Model with Self-Reasoning [20.715106330314605]
  本稿では,ALMの信頼性とトレーサビリティ向上を目的とした,新たな自己推論フレームワークを提案する。 このフレームワークは、関連性を認識したプロセス、エビデンスを認識した選択プロセス、軌跡解析プロセスの3つのプロセスで自己推論軌道を構築することを含む。 提案手法の優位性を示すため,4つの公開データセットにまたがるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-07-29T09:05:10Z)
• Enhancing Numerical Reasoning with the Guidance of Reliable Reasoning Processes [55.2326738851157]
  Enhancing NumeriCal reasOning with Reliable procEsses (Encore)を導入する。 我々は、モデルが合成データを用いて推論プロセスの生成を学習するのに役立つ一連の事前学習タスクを提案する。 実験の結果、Encoreは平均1.8%の5つの実験データセットに改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-16T13:02:11Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation [103.90033029330527]
  FSIS(Few-Shot Instance)は、サポート例が限定された新しいクラスの検出とセグメンテーションを必要とする。 我々は、FSISのサポートとクエリ機能の関係を利用するための統合フレームワーク、Reference Twice(RefT)を導入する。
  論文  参考訳（メタデータ） (2023-01-03T15:33:48Z)
• Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
  関係抽出(RE)は自然言語処理の基本課題である。 現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。 我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2022-02-22T04:46:10Z)
• ApproxIFER: A Model-Agnostic Approach to Resilient and Robust Prediction Serving Systems [24.75623641870649]
  一般的なストラグラー数を扱うために ApproxIFER を提案する。 多数のデータセットとモデルアーキテクチャに関する実験では、パリティモデルアプローチよりも最大58%精度が向上した。
  論文  参考訳（メタデータ） (2021-09-20T22:29:57Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。