論文の概要: OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?

• arxiv url: http://arxiv.org/abs/2410.02735v2
• Date: Sat, 31 May 2025 07:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:52.987547
• Title: OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?
• Title（参考訳）: OOD-Chameleon: OOD一般化のためのアルゴリズム選択は可能か?
• Authors: Liangze Jiang, Damien Teney,
• Abstract要約: 本研究は,OOD一般化のための学習アルゴリズムの選択を学習する可能性を探るものである。 本稿では,候補アルゴリズムに対する多ラベル分類として選択を定式化する概念の証明を提案する。 我々は,OOD-Chameleonが未知のシフトやデータセットにアルゴリズムをランク付けする能力を評価する。
• 参考スコア（独自算出の注目度）: 18.801143204410913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) generalization is challenging because distribution shifts come in many forms. Numerous algorithms exist to address specific settings, but choosing the right training algorithm for the right dataset without trial and error is difficult. Indeed, real-world applications often involve multiple types and combinations of shifts that are hard to analyze theoretically. Method. This work explores the possibility of learning the selection of a training algorithm for OOD generalization. We propose a proof of concept (OOD-Chameleon) that formulates the selection as a multi-label classification over candidate algorithms, trained on a dataset of datasets representing a variety of shifts. We evaluate the ability of OOD-Chameleon to rank algorithms on unseen shifts and datasets based only on dataset characteristics, i.e., without training models first, unlike traditional model selection. Findings. Extensive experiments show that the learned selector identifies high-performing algorithms across synthetic, vision, and language tasks. Further inspection shows that it learns non-trivial decision rules, which provide new insights into the applicability of existing algorithms. Overall, this new approach opens the possibility of better exploiting and understanding the plethora of existing algorithms for OOD generalization.
• Abstract（参考訳）: 分布シフトが多くの形で現れるので、アウト・オブ・ディストリビューション(OOD)の一般化は困難である。 特定の設定に対処するアルゴリズムは数多く存在するが、試行錯誤なしに適切なデータセットの適切なトレーニングアルゴリズムを選択することは難しい。 実際、現実世界のアプリケーションは、理論的な分析が難しい複数のタイプのシフトと組み合わせを含むことが多い。 方法。 本研究は,OOD一般化のための学習アルゴリズムの選択を学習する可能性を探るものである。 本稿では,様々なシフトを表すデータセットのデータセットに基づいて学習した候補アルゴリズムに対して,複数ラベルの分類として選択を定式化する概念実証(OOD-Chameleon)を提案する。 OOD-Chameleonのアルゴリズムのランク付け能力は、従来のモデル選択とは異なり、データセットの特徴のみに基づいて評価する。 発見。 大規模な実験により、学習したセレクタは、合成、視覚、言語タスクにまたがるハイパフォーマンスなアルゴリズムを特定する。 さらなる検査は、非自明な決定ルールを学習し、既存のアルゴリズムの適用性に関する新たな洞察を提供することを示している。 全体として、この新しいアプローチは、OOD一般化のための既存のアルゴリズムの多元性をうまく活用し、理解する可能性を開く。

関連論文リスト

• Data Selection for ERMs [67.57726352698933]
  我々は、$mathcalA$が、少なくとも$nll N$のデータポイントで訓練された時に、いかにうまく機能するかを研究する。 結果は,平均推定,線形分類,線形回帰に対する最適データ選択境界を含む。
  論文  参考訳（メタデータ） (2025-04-20T11:26:01Z)
• TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data [29.45013725650798]
  完全なデータセットに匹敵するパフォーマンスを達成する命令データセットのサブセットを抽出することが不可欠である。 タスク非依存のグラディエントクラスタ化コレセット選択(TAGCOS)を提案する。 具体的には、サンプル勾配をデータ表現として利用し、類似したデータをグループ化するためにクラスタリングを行い、コアセット選択に効率的なグリーディアルゴリズムを適用する。
  論文  参考訳（メタデータ） (2024-07-21T17:59:20Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Sub-Setting Algorithm for Training Data Selection in Pattern Recognition [0.0]
  本稿では,単純な構造を持つ複数のサブセットを識別するトレーニングデータ選択アルゴリズムを提案する。 サブセットアルゴリズムは、複数のサブセットを単純な局所パターンで識別し、インスタンスの近傍で類似したインスタンスを識別する。 我々のボトムアップサブセットアルゴリズムは、データセット全体から学んだトップダウン決定木よりも平均15%良い結果を得た。
  論文  参考訳（メタデータ） (2021-10-13T06:42:41Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Towards Understanding the Behaviors of Optimal Deep Active Learning Algorithms [19.65665942630067]
  アクティブラーニング(AL)アルゴリズムは、モデルがデータ選択プロセスを導くため、より少ないデータでより良いパフォーマンスを達成できます。 alの最適形状についてはほとんど研究されていないため、研究者たちはモデルがどこが不足しているかを理解するのに役立つだろう。 我々は,この最適オラクルを探索し,いくつかのタスクで解析するシミュレーションアニーリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-29T22:56:42Z)
• Finding the Homology of Decision Boundaries with Active Learning [26.31885403636642]
  本稿では,意思決定境界のホモロジーを回復するための能動的学習アルゴリズムを提案する。 我々のアルゴリズムは、ラベルを必要とするサンプルを逐次かつ適応的に選択する。 いくつかのデータセットの実験では、ホモロジーを回復する際のサンプルの複雑さの改善が示されている。
  論文  参考訳（メタデータ） (2020-11-19T04:22:06Z)
• Run2Survive: A Decision-theoretic Approach to Algorithm Selection based on Survival Analysis [75.64261155172856]
  生存分析(SA)は、自然に検閲されたデータをサポートし、アルゴリズムランタイムの分散モデルを学習するためにそのようなデータを使用する適切な方法を提供する。 我々は、アルゴリズム選択に対する洗練された決定論的アプローチの基礎として、そのようなモデルを活用し、Run2Surviveを疑う。 標準ベンチマークASlibによる広範な実験では、我々のアプローチは競争力が高く、多くの場合、最先端のASアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2020-07-06T15:20:17Z)
• Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for Supporting Active Learning [0.0]
  本研究は,Active Learning を用いて非ラベルのインスタンスで分類モデルを誘導する FASE-AL アルゴリズムを提案する。 このアルゴリズムは、正しく分類されたインスタンスの割合で有望な結果を得る。
  論文  参考訳（メタデータ） (2020-01-30T17:25:47Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)
• Optimal Clustering from Noisy Binary Feedback [75.17453757892152]
  本稿では,二元的ユーザフィードバックから一組のアイテムをクラスタリングする問題について検討する。 最小クラスタ回復誤差率のアルゴリズムを考案する。 適応選択のために,情報理論的誤差下界の導出にインスパイアされたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2019-10-14T09:18:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。