論文の概要: Gradient Manipulation in Distributed Stochastic Gradient Descent with Strategic Agents: Truthful Incentives with Convergence Guarantees
- arxiv url: http://arxiv.org/abs/2603.27962v1
- Date: Mon, 30 Mar 2026 02:27:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.196211
- Title: Gradient Manipulation in Distributed Stochastic Gradient Descent with Strategic Agents: Truthful Incentives with Convergence Guarantees
- Title（参考訳）: ストラテジックエージェントを用いた分散確率勾配Descenceにおけるグラディエントマニピュレーション:収束保証を用いた真正インセンティブ
- Abstract要約: 既存の分散学習アプローチの重大な脆弱性は、すべてのエージェントが勾配更新中に誠実に振る舞うという暗黙の仮定である。
分散勾配降下における真正な挙動と正確な収束を両立する完全分散支払い機構を提案する。
- 参考スコア（独自算出の注目度）: 3.7377404546651753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed learning has gained significant attention due to its advantages in scalability, privacy, and fault tolerance.In this paradigm, multiple agents collaboratively train a global model by exchanging parameters only with their neighbors. However, a key vulnerability of existing distributed learning approaches is their implicit assumption that all agents behave honestly during gradient updates. In real-world scenarios, this assumption often breaks down, as selfish or strategic agents may be incentivized to manipulate gradients for personal gain, ultimately compromising the final learning outcome. In this work, we propose a fully distributed payment mechanism that, for the first time, guarantees both truthful behaviors and accurate convergence in distributed stochastic gradient descent. This represents a significant advancement, as it overcomes two major limitations of existing truthfulness mechanisms for collaborative learning:(1) reliance on a centralized server for payment collection, and (2) sacrificing convergence accuracy to guarantee truthfulness. In addition to characterizing the convergence rate under general convex and strongly convex conditions, we also prove that our approach guarantees the cumulative gain that an agent can obtain through strategic behavior remains finite, even as the number of iterations approaches infinity--a property unattainable by most existing truthfulness mechanisms. Our experimental results on standard machine learning tasks, evaluated on benchmark datasets, confirm the effectiveness of the proposed approach.
- Abstract（参考訳）: このパラダイムでは、複数のエージェントが隣人とパラメータを交換することでグローバルモデルを協調的に訓練する。
しかし、既存の分散学習アプローチの重要な脆弱性は、すべてのエージェントが勾配更新中に誠実に振る舞うという暗黙の仮定である。
現実のシナリオでは、この仮定はしばしば崩壊し、利己的あるいは戦略的エージェントは個人的利益のために勾配を操作するインセンティブを与えられ、最終的には最終的な学習結果に妥協する。
本研究では,分散確率勾配勾配における真理的挙動と正確な収束性の両方を初めて保証する完全分散支払い機構を提案する。
これは、協調学習における既存の真理性メカニズムの2つの大きな制限を克服し、(1)支払い収集のための集中サーバへの依存、(2)真理性を保証するために収束精度を犠牲にする、という大きな進歩を示している。
一般凸条件および強凸条件下での収束率を特徴付けることに加えて,本手法は, エージェントが戦略行動を通じて得られる累積ゲインが, 繰り返しの回数が無限大に近づいたとしても有限であることを示す。
提案手法の有効性を確認するため,ベンチマークデータセットを用いて評価した標準機械学習タスクの実験結果を得た。
関連論文リスト
- Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning [5.8010446129208155]
逐次更新における有利な変動の上限を制御するためのクリッピング目的を導入する。
クリッピング目的を用いた2つの新しい実用的なアルゴリズムを導出する。
提案手法は,安定収束特性と所望の低利得分散推定の両方で強調される。
論文 参考訳（メタデータ） (2026-06-24T08:05:11Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。
本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
論文 参考訳（メタデータ） (2026-04-02T12:48:36Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:39:09Z) - The Silent Scholar Problem: A Probabilistic Framework for Breaking Epistemic Asymmetry in LLM Agents [0.6117371161379209]
本稿では,エージェントに双方向知識交換のための非構造的動機を与える形式的確率的枠組みを提案する。
これらの蓄積された信念状態が、人間フィードバックからの強化学習(RLHF)と監視ファインチューニング(SFT)のための高品質データフィルタの検証可能な報酬信号としてどのように機能するかを示す。
シミュレーションの結果、この不確実性駆動型戦略が異種環境におけるランダムベースラインを著しく上回ることを示した。
論文 参考訳（メタデータ） (2025-12-24T02:02:25Z) - Stochastically Dominant Peer Prediction [11.183872292320824]
我々は、真理報告の強い保証として、支配的支配的(SD-truthfulness)を提案する。
単純な解 -- バイナリロータリーに丸めること -- は、SDトラスフルネスを強制するが、しばしば感度を低下させる。
ラウンドリングのより慎重な適用が、感度をよりよく維持できることを示す。
論文 参考訳（メタデータ） (2025-06-02T21:07:24Z) - Intersectional Divergence: Measuring Fairness in Regression [21.34290540936501]
回帰タスクにおける交叉公正度を測定するための新しい手法を提案する。
不均衡な領域の選好を考慮せずに、グループの平均誤差を測るには不十分である。
IDを損失関数、IDLossに適合させる方法を示し、収束保証を満足し、スムーズな性質を持つ。
論文 参考訳（メタデータ） (2025-05-01T19:43:12Z) - Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。
現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。
情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
論文 参考訳（メタデータ） (2025-03-21T18:06:28Z) - Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
半正直な設定で一貫したバックドア検出フレームワークを提案する。
本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。
特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
論文 参考訳（メタデータ） (2025-03-21T06:12:06Z) - Improving self-training under distribution shifts via anchored confidence with theoretical guarantees [13.796664304274643]
自己学習は、予測信頼度と実際の精度の相違が増大するため、分布シフトの時にしばしば不足する。
時間的整合性に基づく分散シフト下での自己学習を改善するための原理的手法を開発した。
提案手法では,計算オーバーヘッドを伴わない分散シフトシナリオにおいて,自己学習性能を8%から16%向上させる。
論文 参考訳（メタデータ） (2024-11-01T13:48:11Z) - VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence [13.612214163974459]
不均一なデータを持つ非方向性ネットワークに対して、検証された分散学習のパラダイムを導入する。
VALIDプロトコルは、検証された学習保証を達成した最初のプロトコルである。
興味深いことに、VALIDは敵のない環境での最適なパフォーマンス指標を維持している。
論文 参考訳（メタデータ） (2024-05-12T15:55:43Z) - Practical Approaches for Fair Learning with Multitype and Multivariate
Sensitive Attributes [70.6326967720747]
現実世界に展開された機械学習アルゴリズムが不公平さや意図しない社会的結果をもたらすことはないことを保証することが重要である。
本稿では,カーネルHilbert Spacesの相互共分散演算子上に構築されたフェアネス尺度であるFairCOCCOを紹介する。
実世界のデータセットにおける予測能力と公正性のバランスをとる上で、最先端技術に対する一貫した改善を実証的に示す。
論文 参考訳（メタデータ） (2022-11-11T11:28:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。