論文の概要: Incentive Compatible Pareto Alignment for Multi-Source Large Graphs
- arxiv url: http://arxiv.org/abs/2112.02792v1
- Date: Mon, 6 Dec 2021 05:36:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 15:36:09.685448
- Title: Incentive Compatible Pareto Alignment for Multi-Source Large Graphs
- Title(参考訳): マルチソース大規模グラフに対するインセンティブ対応型パレートアライメント
- Authors: Jian Liang, Fangrui Lv, Di Liu, Zehui Dai, Xu Tian, Shuang Li, Fei
Wang, Han Li
- Abstract要約: 我々は,マルチソース大規模データを用いた効果的なエンティティマッチングモデルを学習することに注力する。
課題は,1)情報共有源間の大規模エンティティの整合化,2)共同学習型マルチソースデータからの負の転送を緩和する方法である。
- 参考スコア(独自算出の注目度): 28.46226472088586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we focus on learning effective entity matching models over
multi-source large-scale data. For real applications, we relax typical
assumptions that data distributions/spaces, or entity identities are shared
between sources, and propose a Relaxed Multi-source Large-scale Entity-matching
(RMLE) problem. Challenges of the problem include 1) how to align large-scale
entities between sources to share information and 2) how to mitigate negative
transfer from joint learning multi-source data. What's worse, one practical
issue is the entanglement between both challenges. Specifically, incorrect
alignments may increase negative transfer; while mitigating negative transfer
for one source may result in poorly learned representations for other sources
and then decrease alignment accuracy. To handle the entangled challenges, we
point out that the key is to optimize information sharing first based on Pareto
front optimization, by showing that information sharing significantly
influences the Pareto front which depicts lower bounds of negative transfer.
Consequently, we proposed an Incentive Compatible Pareto Alignment (ICPA)
method to first optimize cross-source alignments based on Pareto front
optimization, then mitigate negative transfer constrained on the optimized
alignments. This mechanism renders each source can learn based on its true
preference without worrying about deteriorating representations of other
sources. Specifically, the Pareto front optimization encourages minimizing
lower bounds of negative transfer, which optimizes whether and which to align.
Comprehensive empirical evaluation results on four large-scale datasets are
provided to demonstrate the effectiveness and superiority of ICPA. Online A/B
test results at a search advertising platform also demonstrate the
effectiveness of ICPA in production environments.
- Abstract(参考訳): 本稿では,マルチソース大規模データを用いた効果的なエンティティマッチングモデルについて述べる。
実アプリケーションでは、データ分散や空間、エンティティIDがソース間で共有されるという典型的な仮定を緩和し、Relaxed Multi-source Large-scale Entity-matching (RMLE)問題を提案する。
問題の課題は
1)情報共有のための情報源間の大規模実体の調整方法
2)多元共同学習データから負の伝達を緩和する方法
さらに悪いことに、現実的な問題のひとつは、両方の課題の絡み合いです。
特に、不正確なアライメントは負の転送を増加させ、一方のソースに対する負の転送を緩和する一方で、他のソースに対する学習不足な表現を生じさせ、アライメント精度を低下させる可能性がある。
この課題に対処するために,まず情報共有の最適化をParetoのフロント最適化に基づいて行うことが重要であり,情報共有が負の転送の下位境界を表すParetoのフロントに大きく影響を与えることを示す。
そこで本研究では,まずパレートフロント最適化に基づくクロスソースアライメントを最適化し,最適化アライメントに制約された負転送を緩和するインセンティブ互換パレートアライメント(icpa)法を提案する。
このメカニズムにより、各ソースは、他のソースの表現の劣化を心配することなく、真の好みに基づいて学習することができる。
具体的には、paretoのフロント最適化は負の転送の限界を最小化することを奨励している。
ICPAの有効性と優位性を示すため,4つの大規模データセットに対する総合的実証評価結果を提供した。
検索広告プラットフォームにおけるオンラインA/Bテストの結果は、生産環境におけるICPAの有効性を示す。
関連論文リスト
- Joint Optimization of Resource Allocation and Data Selection for Fast and Cost-Efficient Federated Edge Learning [9.460012379815423]
FEEL(FEEL)を導入したワイヤレスエッジでの学習
本稿では,効率的なシステム,連合型共同資源割り当てとデータ選択を提案する。
共同資源配分とデータ選択という提案手法の優位性を検証した。
論文 参考訳(メタデータ) (2024-07-03T08:03:59Z) - Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。
現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。
我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。
実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
論文 参考訳(メタデータ) (2024-06-14T07:22:39Z) - Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。
私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。
本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文 参考訳(メタデータ) (2024-06-06T18:01:02Z) - Enhancing Information Maximization with Distance-Aware Contrastive
Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。
データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。
本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-03-04T12:10:24Z) - On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
本研究では,多彩な嗜好が報酬モデルに及ぼす影響について検討する。
その結果,様々な選好データが報酬モデルのキャリブレーション性能に悪影響を及ぼすことがわかった。
本稿では,RMの校正性能を高めるための多目的リワード学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-12T16:17:15Z) - A Robust Negative Learning Approach to Partial Domain Adaptation Using
Source Prototypes [0.8895157045883034]
この研究は、負の転送問題を緩和する堅牢な部分的ドメイン適応(PDA)フレームワークを提案する。
それは多様で相補的なラベルフィードバックを含み、誤ったフィードバックの効果を緩和し、擬似ラベル改善を促進する。
我々は,部分領域適応タスクを網羅するアブレーション解析を含む包括的実験を行った。
論文 参考訳(メタデータ) (2023-09-07T07:26:27Z) - Delegating Data Collection in Decentralized Machine Learning [67.0537668772372]
分散機械学習(ML)エコシステムの出現に動機付けられ,データ収集のデリゲートについて検討する。
我々は、2つの基本的な情報非対称性を扱う最適でほぼ最適な契約を設計する。
最適効用の1-1/e分を達成できるような単純な線形契約により、主成分がそのような非対称性に対処できることが示される。
論文 参考訳(メタデータ) (2023-09-04T22:16:35Z) - Serverless Federated AUPRC Optimization for Multi-Party Collaborative
Imbalanced Data Mining [119.89373423433804]
有効指標としてAUPRC(Area Under Precision-Recall)を導入した。
サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。
本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-08-06T06:51:32Z) - Data-Driven Offline Decision-Making via Invariant Representation
Learning [97.49309949598505]
オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。
オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。
本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
論文 参考訳(メタデータ) (2022-11-21T11:01:37Z) - Robust Direct Learning for Causal Data Fusion [14.462235940634969]
我々は、他のニュアンス関数から処理効果を分離するマルチソースデータを統合するためのフレームワークを提供する。
また,半パラメトリック効率理論の理論的洞察に基づく因果情報認識重み付け関数を提案する。
論文 参考訳(メタデータ) (2022-11-01T03:33:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。