Fugu-MT 論文翻訳(概要): A Generalization Theory for Zero-Shot Prediction

論文の概要: A Generalization Theory for Zero-Shot Prediction

arxiv url: http://arxiv.org/abs/2507.09128v1
Date: Sat, 12 Jul 2025 03:37:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:22.465851
Title: A Generalization Theory for Zero-Shot Prediction
Title（参考訳）: ゼロショット予測の一般化理論
Authors: Ronak Mehta, Zaid Harchaoui,
Abstract要約: ゼロショット予測という,このアプローチをよりよく理解するための理論的枠組みを提案する。ゼロショット予測が目指す目標量と,その一般化能力を実現する重要な条件付き独立関係を同定する。
参考スコア（独自算出の注目度）: 4.1764890353794994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A modern paradigm for generalization in machine learning and AI consists of pre-training a task-agnostic foundation model, generally obtained using self-supervised and multimodal contrastive learning. The resulting representations can be used for prediction on a downstream task for which no labeled data is available. We present a theoretical framework to better understand this approach, called zero-shot prediction. We identify the target quantities that zero-shot prediction aims to learn, or learns in passing, and the key conditional independence relationships that enable its generalization ability.
Abstract（参考訳）: 機械学習とAIの一般化のための現代的なパラダイムは、タスクに依存しない基礎モデルを事前訓練することであり、一般的に自己教師付きおよびマルチモーダルのコントラスト学習を用いて得られる。結果の表現は、ラベル付きデータが使用できないダウンストリームタスクの予測に使用することができる。ゼロショット予測という,このアプローチをよりよく理解するための理論的枠組みを提案する。ゼロショット予測が目指す目標量と,その一般化能力を実現する重要な条件付き独立関係を同定する。

関連論文リスト

Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
回帰モデルの連続学習のための総合的・包括的理論的解析を行う。一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
論文参考訳（メタデータ） (2025-03-24T10:06:07Z)
Rethinking Generalizability and Discriminability of Self-Supervised Learning from Evolutionary Game Theory Perspective [43.510860711231544]
最先端の自己管理手法は、一般化可能性や差別性を高める傾向にあるが、同時にはならない。本稿では,強化学習の進歩を生かし,EGTの一般指導を共同で活用する自己指導型学習手法を提案する。
論文参考訳（メタデータ） (2024-11-30T17:20:23Z)
A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
論文参考訳（メタデータ） (2024-09-11T05:10:32Z)
The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning [86.19804569376333]
インストラクションチューニングにおいてゼロショットの一般化は非常に早い段階で起こることを示す。より基礎的なトレーニングデータアレンジメントフレームワークであるテスト中心型マルチターンアレンジメントを提案する。
論文参考訳（メタデータ） (2024-06-17T16:40:21Z)
Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
点予測損失の最小化は、潜時関係情報の適切な学習を保証するものではないことを示す。本稿では,この共同学習課題を解決するサンプリングベース手法を提案する。
論文参考訳（メタデータ） (2024-05-30T10:49:22Z)
On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
論文参考訳（メタデータ） (2024-03-11T16:23:42Z)
Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文参考訳（メタデータ） (2023-11-17T00:35:38Z)
Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文参考訳（メタデータ） (2023-07-15T09:24:33Z)
Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文参考訳（メタデータ） (2022-02-18T17:09:32Z)
Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文参考訳（メタデータ） (2021-06-22T18:29:58Z)
Functional Regularization for Representation Learning: A Unified Theoretical Perspective [27.93916012334704]
教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
論文参考訳（メタデータ） (2020-08-06T04:06:04Z)
Modeling Generalization in Machine Learning: A Methodological and Computational Study [0.8057006406834467]
我々は、機械学習の一般化を評価する際に、トレーニングデータの凸殻の概念を用いる。機械学習モデルの一般化能力と次元に関するすべての指標との予期せぬ弱い関係を観察する。
論文参考訳（メタデータ） (2020-06-28T19:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。