Fugu-MT 論文翻訳(概要): Distributed In-Context Learning under Non-IID Among Clients

論文の概要: Distributed In-Context Learning under Non-IID Among Clients

arxiv url: http://arxiv.org/abs/2408.00144v1
Date: Wed, 31 Jul 2024 20:06:25 GMT
ステータス: 処理完了
システム内更新日: 2024-08-04 22:25:51.403451
Title: Distributed In-Context Learning under Non-IID Among Clients
Title（参考訳）: クライアント間の非IID環境下での分散インコンテキスト学習
Authors: Siqi Liang, Sumyeong Ahn, Jiayu Zhou,
Abstract要約: In-context Learning (ICL)は、クエリに関連する一連のデータポイントを取得することで、数ショット適応のための有望なソリューションを提供する。本稿では,テストクエリが非IID性のため,クライアント間で異なる好みを持つことを示す。データ利用予算が存在する場合、分散非IID ICL問題に対処するための新しいアプローチを導入する。
参考スコア（独自算出の注目度）: 38.868357555845435
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Advancements in large language models (LLMs) have shown their effectiveness in multiple complicated natural language reasoning tasks. A key challenge remains in adapting these models efficiently to new or unfamiliar tasks. In-context learning (ICL) provides a promising solution for few-shot adaptation by retrieving a set of data points relevant to a query, called in-context examples (ICE), from a training dataset and providing them during the inference as context. Most existing studies utilize a centralized training dataset, yet many real-world datasets may be distributed among multiple clients, and remote data retrieval can be associated with costs. Especially when the client data are non-identical independent distributions (non-IID), retrieving from clients a proper set of ICEs needed for a test query presents critical challenges. In this paper, we first show that in this challenging setting, test queries will have different preferences among clients because of non-IIDness, and equal contribution often leads to suboptimal performance. We then introduce a novel approach to tackle the distributed non-IID ICL problem when a data usage budget is present. The principle is that each client's proper contribution (budget) should be designed according to the preference of each query for that client. Our approach uses a data-driven manner to allocate a budget for each client, tailored to each test query. Through extensive empirical studies on diverse datasets, our framework demonstrates superior performance relative to competing baselines.
Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、複数の複雑な自然言語推論タスクにおいてその効果を示した。重要な課題は、これらのモデルを新しいタスクや馴染みのないタスクに効率的に適応させることである。 In-context Learning(ICL)は、クエリに関連する一連のデータポイント(ICE)をトレーニングデータセットから取得し、推論中にコンテキストとして提供することで、数ショット適応のための有望なソリューションを提供する。既存の研究の多くは集中型トレーニングデータセットを使用しているが、現実のデータセットは複数のクライアントに分散し、リモートデータ検索はコストに関連付けられる。特に、クライアントデータが識別できない独立した分散(非IID)である場合、テストクエリに必要なICEの適切なセットをクライアントから取得することは、重大な課題となる。本稿では、まず、この難易度設定において、テストクエリが非IID性のためクライアント間で異なる嗜好を持つことを示し、同じコントリビューションは、しばしば最適以下のパフォーマンスをもたらすことを示す。次に,データ利用予算が存在する場合の分散非IID ICL問題に対処するための新しい手法を提案する。原則として、各クライアントの適切なコントリビューション(予算)は、そのクライアントに対する各クエリの好みに応じて設計されるべきである。このアプローチでは、データ駆動方式を使用して、各テストクエリに合わせて、各クライアントの予算を割り当てます。多様なデータセットに関する広範な実証研究を通じて,本フレームワークは,競合するベースラインと比較して優れた性能を示す。

関連論文リスト

A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-15T03:00:58Z)
Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
論文参考訳（メタデータ） (2024-10-14T15:48:09Z)
CMDBench: A Benchmark for Coarse-to-fine Multimodal Data Discovery in Compound AI Systems [10.71630696651595]
知識集約的なタスクを達成するエージェントとしてLLMを使用する複合AIシステム(CAS)は、データベースやAIコミュニティにおいて大きな関心を集めている。マルチモーダルデータソースのサイロは、そのタスクを達成するための適切なデータソースを特定するのを困難にしている。我々はエンタープライズデータプラットフォームの複雑さをモデル化したベンチマークであるCMDBenchを提案する。
論文参考訳（メタデータ） (2024-06-02T01:10:41Z)
Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文参考訳（メタデータ） (2022-11-10T13:20:56Z)
FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution [7.924081556869144]
本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。 CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
論文参考訳（メタデータ） (2022-08-20T22:10:48Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
Aggregation Delayed Federated Learning [20.973999078271483]
フェデレーション学習(Federated Learning)は、複数のデータ所有者(クライアント)が、自身のデバイスにデータを保持しながら、ひとつのマシンラーニングモデルを協調的にトレーニングする分散機械学習パラダイムである。非IIDデータ上では、FedAvgのような標準フェデレーションアルゴリズムによる性能低下が報告されている。非IIDデータを扱うための多くの既存の作業は、FedAvgと同じ集約フレームワークを採用し、サーバ側またはクライアントでモデル更新を改善することに重点を置いている。本研究では, 集約を遅らせる再分配ラウンドを導入することで, この課題に取り組み, 複数タスクの実験を行い, 提案したフレームワークが非IIDの性能を大幅に向上することを示す。
論文参考訳（メタデータ） (2021-08-17T04:06:10Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Overcoming Noisy and Irrelevant Data in Federated Learning [13.963024590508038]
フェデレーション学習は、クライアントデバイスが収集したローカルデータから、機械学習モデルを分散的にトレーニングする効果的な方法である。そこで我々は,小さなベンチマークデータセットに基づいてトレーニングされたベンチマークモデルを用いて,関連するデータを分散的に選択する手法を提案する。提案手法の有効性は,多数のクライアントを持つシミュレーションシステムにおいて,複数の実世界の画像データセット上で評価される。
論文参考訳（メタデータ） (2020-01-22T22:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。