論文の概要: Federated In-Context Learning: Iterative Refinement for Improved Answer Quality

• arxiv url: http://arxiv.org/abs/2506.07440v1
• Date: Mon, 09 Jun 2025 05:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.815228
• Title: Federated In-Context Learning: Iterative Refinement for Improved Answer Quality
• Title（参考訳）: Federated In-Context Learning: 回答品質向上のための反復的リファインメント
• Authors: Ruhan Wang, Zhiyong Wang, Chengkai Huang, Rui Wang, Tong Yu, Lina Yao, John C. S. Lui, Dongruo Zhou,
• Abstract要約: In-context Learning (ICL) では、入力に提供される例を活用することで、パラメータを変更することなく、言語モデルで応答を生成することができる。 我々は,反復的協調プロセスを通じてICLを強化する汎用フレームワークであるFederated In-Context Learning (Fed-ICL)を提案する。 Fed-ICLは、クライアントと中央サーバ間のマルチラウンドインタラクションを活用することで、応答を徐々に洗練し、モデルパラメータを送信することなく、応答品質を向上させる。
• 参考スコア（独自算出の注目度）: 62.72381208029899
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: For question-answering (QA) tasks, in-context learning (ICL) enables language models to generate responses without modifying their parameters by leveraging examples provided in the input. However, the effectiveness of ICL heavily depends on the availability of high-quality examples, which are often scarce due to data privacy constraints, annotation costs, and distribution disparities. A natural solution is to utilize examples stored on client devices, but existing approaches either require transmitting model parameters - incurring significant communication overhead - or fail to fully exploit local datasets, limiting their effectiveness. To address these challenges, we propose Federated In-Context Learning (Fed-ICL), a general framework that enhances ICL through an iterative, collaborative process. Fed-ICL progressively refines responses by leveraging multi-round interactions between clients and a central server, improving answer quality without the need to transmit model parameters. We establish theoretical guarantees for the convergence of Fed-ICL and conduct extensive experiments on standard QA benchmarks, demonstrating that our proposed approach achieves strong performance while maintaining low communication costs.
• Abstract（参考訳）: 質問応答(QA)タスクでは、インコンテキスト学習(ICL)により、入力に提供される例を活用することで、パラメータを変更することなく、言語モデルで応答を生成することができる。 しかし、ICLの有効性は、データプライバシの制約、アノテーションのコスト、分散の格差によってしばしば不足する、高品質な例の可用性に大きく依存する。 自然な解決策は、クライアントデバイスに格納された例を利用することだが、既存のアプローチではモデルパラメーターを送信する必要がある。 これらの課題に対処するために、反復的協調プロセスを通じてICLを強化する一般的なフレームワークであるFederated In-Context Learning (Fed-ICL)を提案する。 Fed-ICLは、クライアントと中央サーバ間のマルチラウンドインタラクションを活用することで、応答を徐々に洗練し、モデルパラメータを送信することなく、応答品質を向上させる。 我々は、Fed-ICLの収束に関する理論的保証を確立し、標準QAベンチマークで広範な実験を行い、提案手法が低通信コストを維持しながら高い性能を達成することを実証した。

関連論文リスト

• Addressing Data Quality Decompensation in Federated Learning via Dynamic Client Selection [7.603415982653868]
  Shapley-Bid Reputation Optimated Federated Learning (SBRO-FL)は、動的入札、評判モデリング、コスト認識の選択を統合する統合フレームワークである。 予測理論にインスパイアされた評価システムは、矛盾を罰しながら歴史的なパフォーマンスを捉えている。 FashionMNIST, EMNIST, CIFAR-10, SVHNデータセットの実験により、SBRO-FLは対向的および低障壁干渉シナリオにおいても精度、収束速度、堅牢性を改善することが示された。
  論文  参考訳（メタデータ） (2025-05-27T14:06:51Z)
• Generalizing Large Language Model Usability Across Resource-Constrained [0.43512163406552007]
  論文は、現実世界の制約下での大規模言語モデルを一般化するための体系的な研究である。 まず、LLMが多様なモダリティをシームレスに統合することを可能にする、堅牢なテキスト中心アライメントフレームワークを導入する。 マルチモーダル設定以外にも、この論文はLLMの推論時間最適化戦略を研究している。
  論文  参考訳（メタデータ） (2025-05-13T01:00:12Z)
• QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [4.429189958406034]
  マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。 大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。 いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-04-17T14:07:11Z)
• Query-based Knowledge Transfer for Heterogeneous Learning Environments [50.45210784447839]
  クエリベースの知識伝達(QKT)という新しいフレームワークを提案する。 QKTは、データ交換なしで特定のクライアントのニーズを満たすための、適切な知識獲得を可能にする。 実験の結果,QKTは既存の協調学習方法よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-12T13:09:39Z)
• Invariant Federated Learning for Edge Intelligence: Mitigating Heterogeneity and Asynchrony via Exit Strategy and Invariant Penalty [10.54196990763149]
  本稿では,資源制約付きエッジインテリジェンスのための不変なフェデレーション学習システムを提案する。 退避戦略と不変ペナルティを通じて異質性や非同期性の影響を軽減することができる。 その結果,本システムは分散処理性能を向上し,Out-Of-Distributionの一般化において最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-08T10:47:27Z)
• CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing [56.98081258047281]
  Token-lEvel Routing(CITER)との協調推論は、小規模および大規模言語モデルの効率的な協調を可能にするフレームワークである。 ルータの学習をポリシー最適化として定式化し、予測の質と生成の推論コストの両方に基づいて報酬を受け取る。 実験の結果,CITERは高品質な生成を保ちながら推論コストを低減し,リアルタイムおよびリソース制約のあるアプリケーションに対して有望なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2025-02-04T03:36:44Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。