論文の概要: Domain Generalisation via Imprecise Learning

• arxiv url: http://arxiv.org/abs/2404.04669v2
• Date: Thu, 30 May 2024 07:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 20:25:21.144032
• Title: Domain Generalisation via Imprecise Learning
• Title（参考訳）: 不正確な学習によるドメインの一般化
• Authors: Anurag Singh, Siu Lun Chau, Shahine Bouabid, Krikamol Muandet,
• Abstract要約: アウト・オブ・ディストリビューションの一般化は、経験的データから学習するだけでなく、一般化の様々な概念の中から決定するからである。 Inrecise Domain Generalization frameworkを導入し、不正確なリスク最適化を特徴とし、学習者が不正確なままでいられるようにする。 理論的および実証的な証拠の両方によって支持され、我々の研究は、不正確さをドメインの一般化に組み込むことの利点を示している。
• 参考スコア（独自算出の注目度）: 11.327964663415306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) generalisation is challenging because it involves not only learning from empirical data, but also deciding among various notions of generalisation, e.g., optimising the average-case risk, worst-case risk, or interpolations thereof. While this choice should in principle be made by the model operator like medical doctors, this information might not always be available at training time. The institutional separation between machine learners and model operators leads to arbitrary commitments to specific generalisation strategies by machine learners due to these deployment uncertainties. We introduce the Imprecise Domain Generalisation framework to mitigate this, featuring an imprecise risk optimisation that allows learners to stay imprecise by optimising against a continuous spectrum of generalisation strategies during training, and a model framework that allows operators to specify their generalisation preference at deployment. Supported by both theoretical and empirical evidence, our work showcases the benefits of integrating imprecision into domain generalisation.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、経験的データから学習するだけでなく、例えば、平均ケースリスク、最悪のケースリスク、またはその補間を最適化するといった、様々な一般化の考え方の中から決定するからである。 この選択は原則として、医師のようなモデルオペレーターが行うべきであるが、この情報はトレーニング時に常に利用できるとは限らない。 機械学習者とモデルオペレーターとの制度的な分離は、これらの展開の不確実性により、機械学習者による特定の一般化戦略への任意のコミットメントをもたらす。 本稿では、この課題を緩和するために、トレーニング中の一般化戦略の連続スペクトルに対して最適化することで、学習者が不正確な状態を維持することができる不正確なリスク最適化と、運用者がデプロイ時に一般化優先を指定できるモデルフレームワークを導入する。 理論的および実証的な証拠の両方によって支持され、我々の研究は、不正確さをドメインの一般化に組み込むことの利点を示している。

関連論文リスト

• On the Generalization of Preference Learning with DPO [17.420727709895736]
  大きな言語モデル(LLM)は目覚ましい能力を示してきたが、しばしば人間の好みに合わせるのに苦労している。 嗜好学習は、人間のフィードバックに基づいて、好ましくない反応と好ましくない反応を区別するモデルを訓練する。 本稿では、直接選好最適化(DPO)で訓練されたモデルの一般化保証を解析するための新しい理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-08-06T22:11:00Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• Advocating for the Silent: Enhancing Federated Generalization for Non-Participating Clients [38.804196122833645]
  本稿では,フェデレートラーニングのための情報理論の一般化フレームワークについて紹介する。 局所分布の情報エントロピーを評価することで一般化誤差を定量化する。 導出一般化境界に着想を得て、重み付け集約アプローチとクライアント選択戦略の二重化を導入する。
  論文  参考訳（メタデータ） (2023-10-11T03:39:56Z)
• Domain Generalization without Excess Empirical Risk [83.26052467843725]
  一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。 我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。 我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
  論文  参考訳（メタデータ） (2023-08-30T08:46:46Z)
• On the benefits of representation regularization in invariance based domain generalization [6.197602794925773]
  ドメインの一般化は、観測された環境と見えない環境の間のこのような予測ギャップを軽減することを目的としている。 本稿では、単に不変表現の学習が、目に見えない環境に対して脆弱であることを明らかにする。 さらに, 領域一般化におけるロバスト性向上のための効率的な正則化手法を考案した。
  論文  参考訳（メタデータ） (2021-05-30T13:13:55Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)
• Learning to Learn Single Domain Generalization [18.72451358284104]
  本稿では,このアウト・オブ・ディストリビューション(OOD)一般化問題を解くために,逆領域拡張という新しい手法を提案する。 鍵となる考え方は、敵の訓練を活用して「現実的」だが「混み合う」人口を作り出すことである。 高速で望ましいドメイン拡張を容易にするため、メタラーニング方式でモデルトレーニングを行い、Wasserstein Auto-Encoder (WAE) を用いて、広く使われている最悪のケース制約を緩和する。
  論文  参考訳（メタデータ） (2020-03-30T04:39:53Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。