論文の概要: ADKO: Agentic Decentralized Knowledge Optimization
- arxiv url: http://arxiv.org/abs/2605.07863v1
- Date: Fri, 08 May 2026 15:23:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.1545
- Title: ADKO: Agentic Decentralized Knowledge Optimization
- Title(参考訳): ADKO: エージェント分散知識最適化
- Authors: Lucas Nerone Rillo, Zhanhong Jiang, Nastaran Saadati, Aditya Balu, Baskar Ganapathysubramanian, Chinmay Hegde, Soumik Sarkar,
- Abstract要約: Agentic Decentralized Knowledge Optimization (ADKO)は、自律エージェント間の協調的なブラックボックス最適化のためのフレームワークである。
各エージェントは、ローカルデータに基づいて訓練されたプライベートガウスプロセス(GP)を保持し、知識トークンを通してのみ通信する。
トークン圧縮は相互情報に基づく忠実度によって定量化され、LM近似はバイアスとノイズに分解される。
- 参考スコア(独自算出の注目度): 21.537388090124196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Agentic Decentralized Knowledge Optimization (ADKO), a framework for collaborative black-box optimization across autonomous agents that achieves sample efficiency, privacy preservation, heterogeneous-objective handling, and communication efficiency. Each agent maintains a private Gaussian Process (GP) surrogate trained on local data and communicates only through knowledge tokens-compact, lossy summaries containing directional signals, advantage scores, and optional language-model (LM) insights-without sharing raw data or model parameters. ADKO unifies GP-Upper Confidence Bound (GP-UCB), parallel Bayesian optimization, decentralized learning, and LM-guided discovery. We provide the first formal analysis of dual information loss: token compression, quantified via mutual-information-based fidelity, and LM approximation error, decomposed into bias and stochastic noise. Our main result shows cumulative regret decomposes into GP error, LM bias, LM noise, and compression loss, with necessary and sufficient conditions for sublinear regret. We also propose fidelity-aware token pruning to preserve high-information tokens under memory budget. Experiments on neural architecture search and scientific discovery validate the theory and show consistent improvements over strong baselines.
- Abstract(参考訳): 本稿では,自律エージェント間の協調的なブラックボックス最適化のためのフレームワークであるエージェント分散知識最適化(ADKO)について述べる。
各エージェントは、ローカルデータに基づいて訓練されたプライベートなガウスプロセス(GP)サロゲートを保持しており、生データやモデルパラメータを共有することなく、指向性信号、有利なスコア、オプションの言語モデル(LM)の洞察を含む知識トークン、損失の少ない要約を通してのみ通信する。
ADKOはGP-Upper Confidence Bound (GP-UCB)、並列ベイズ最適化、分散学習、LM誘導探索を統一する。
トークン圧縮は相互情報に基づく忠実度によって定量化され、LM近似誤差はバイアスと確率ノイズに分解される。
本結果から, 累積的後悔はGP誤差, LMバイアス, LMノイズ, 圧縮損失に分解され, サブ線形後悔には必要かつ十分な条件が得られた。
また,高情報トークンをメモリ予算下で保存するために,忠実度を意識したトークンプルーニングを提案する。
ニューラルネットワーク探索と科学的発見の実験は、理論を検証し、強いベースラインよりも一貫した改善を示す。
関連論文リスト
- FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection [5.476264433576713]
FedSLoPは効率的なフェデレート学習アルゴリズムである。
We show that FedSLoP converges to a first-order stationary point at a rate of $O (1/sqrNT)$。
論文 参考訳(メタデータ) (2026-04-27T03:47:50Z) - Sketching the Readout of Large Language Models for Scalable Data Attribution and Valuation [31.732282915190467]
人間の認知にインスパイアされたRISE(Readout Influence Sketching Estimator)の導入
RISEは出力層における影響ホットスポットに焦点を合わせ、そこでは影響信号が集中し、勾配は分解した外部生成物の形態を許容する。
OLMo (1B-32B) と Pythia (14M-6.9B) のファミリー全体で、RISEはRapidInと比較してインデックスストレージを最大112$times$に削減する。
RISEは、ハウディバックドアデータ検出、ファイナンス・メディカルドメイン分離、Brain Rotの高品質データ選択の3つのタスクで検証する。
論文 参考訳(メタデータ) (2026-04-17T16:07:11Z) - Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。
この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
論文 参考訳(メタデータ) (2026-01-12T05:43:20Z) - Closing the Generalization Gap in Parameter-efficient Federated Edge Learning [43.00634399799955]
フェデレーションエッジラーニング(FEEL)は人工知能(AI)のための有望な基盤を提供する
限定的で異種なローカルデータセット、およびリソース制限されたデプロイメントは、モデル一般化とリソース利用の両方を著しく低下させる。
本稿では,モデル最小化と一般化選択を併用して,このような課題に対処するフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-28T15:34:09Z) - Heterogeneous Multisource Transfer Learning via Model Averaging for Positive-Unlabeled Data [2.030810815519794]
本研究では,異種データソースからの情報を直接データ共有なしで統合するトランスファー学習フレームワークを提案する。
各ソースドメインタイプに対して、調整されたロジスティック回帰モデルを実行し、平均化によって知識をPUターゲットドメインに転送する。
提案手法は,特にラベル付きデータや異種環境において,予測精度とロバスト性において,他の比較手法よりも優れる。
論文 参考訳(メタデータ) (2025-11-14T03:15:31Z) - Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。
目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。
DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文 参考訳(メタデータ) (2024-08-14T11:29:47Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳(メタデータ) (2023-04-07T13:41:08Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。