論文の概要: A Theoretical Framework for Understanding and Building "Any-task inference" Capable Foundation Models

• arxiv url: http://arxiv.org/abs/2610.40934v1
• Date: Thu, 29 Oct 2026 20:08:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.484755
• Title: A Theoretical Framework for Understanding and Building "Any-task inference" Capable Foundation Models
• Title（参考訳）: Any-task推論」機能基盤モデルの理解と構築のための理論的枠組み
• Abstract要約: あらゆるタスク推論」に焦点をあてた基礎モデルのサブセットに対する形式的枠組みと数学的定義を提供する。 我々は,すべてのAII基盤モデルを「ユニバーサルタスク削減」レンズを介してエンコーダ,モデル,デコーダの各側面に分解可能であることを示す。 多様なドメインでAIT基盤モデルを実現するための2つの"プロトタイプ"レシピを提供する。
• 参考スコア（独自算出の注目度）: 1.6489005602231446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we provide a formal framework and mathematical definition for the subset of foundation models focused on enabling the property of "any-task inference" (ATI) (similar to zero-shot inference), rather than those designed for pre-training fine-tuning. To achieve this mathematical definition, we formalize the notion of a "space of tasks of interest," which we include in the problem domain, then provide an interface-based formal definition for ATI foundation models as those that map samples of data $x$ and tasks $t$ to predictions over the space of labels directly. While simple, this definition allows us to show that all ATI foundation models can be decomposed through a "universal task reduction" lens into encoder, model, and decoder aspects. We can leverage this decomposition to also decompose foundation model error into terms corresponding to different aspects of this reduction, stratified into a collection of "design terms," which are theoretical properties that can inform one of whether a particular proposed ATI foundation model can achieve optimality or not due to the structure of the proposed task reduction, and "realized model excess" terms which capture interactions between learned and programmatic components of foundation model systems. Lastly, we can use this perspective to offer two "prototypical" recipes for realizing ATI foundation models in diverse domains, which we term generative and discriminative variants of ATI foundation models. This exercise is grounded throughout by 5 real-world examples of foundation models in different settings, varying greatly in how these capabilities are realized, showing the applicability of this definition to real-world settings.
• Abstract（参考訳）: 本研究は,「任意のタスク推論」 (ATI) の特性の実現に焦点をあてた基礎モデルのサブセットに対して,事前学習用ではなく,形式的なフレームワークと数学的定義を提供する。 この数学的定義を達成するために、問題領域に含まれる「関心のあるタスクの空間」の概念を形式化し、データ$x$とタスク$t$のサンプルをラベル空間上の予測に直接マッピングするものとして、AII基盤モデルのインターフェースベースの形式定義を提供する。 この定義は単純であるが、全てのAII基盤モデルをエンコーダ、モデル、デコーダの各面に「ユニバーサルタスク削減」レンズを通して分解できることを示す。 この分解を利用して、基礎モデルの誤差を、この縮小の異なる側面に対応する用語に分解することができる。これは、特定のAII基盤モデルが、提案されたタスクの削減構造によって最適性を達成することができるかどうかを知らせる理論的特性である「設計用語」の集合と、基礎モデルシステムの学習されたコンポーネントとプログラム的コンポーネント間の相互作用をキャプチャする「実現されたモデル過剰」用語である。 最後に、この視点を用いて、多様なドメインにおけるAII基盤モデルを実現するための2つの"プロトタイプ"レシピを提供することができる。 このエクササイズは、異なる設定のファンデーションモデルの5つの実世界の例によって基礎付けられており、これらの機能がどのように実現されるかが大きく異なり、この定義が現実世界のセッティングに適用可能であることを示している。

関連論文リスト

• Unifying Embodied Foundation Models via a Model-to-Policy Formulation [1.5837772594006037]
  ビジョンアクションモデル(VLA)とワールドアクションモデル(WAM)は、ロボットの学習と制御に対する有望なアプローチとして現れている。 本稿では,確率的カーネルに基づく基礎モデルの統一的なアーキテクチャ非依存の定式化について述べる。 我々はOpenVLAとDreamZeroの定式化をインスタンス化し、自己回帰行動予測と共同ビデオアクション生成をカバーした。
  論文  参考訳（メタデータ） (2026-10-16T07:30:52Z)
• CatalyticMLLM: A Graph-Text Multimodal Large Language Model for Catalytic Materials [61.546562658308005]
  触媒材料のためのグラフテキスト多モード大言語モデルQE-Catalytic-V2を提案する。 プロパティ予測と逆設計を同じモデルと共有表現空間に統合する。 この統合フレームワークでは、QE-Catalytic-V2は信頼性の高いプロパティ予測を行うだけでなく、物理的に実現可能なCIF候補を生成し、表示することができる。
  論文  参考訳（メタデータ） (2026-05-17T04:31:46Z)
• The Differential Meaning of Models: A Framework for Analyzing the Structural Consequences of Semantic Modeling Decisions [0.0]
  我々は、モデルが潜在記号幾何学を測り、記号的データセットの下のセミオティックエージェンシーの複合体に関する仮説として理解することができると論じる。 これはモデルセマンティクスの理論の基礎を形成し、モデルとそれらを構成するモデル決定は、それ自体が記号として扱われる。
  論文  参考訳（メタデータ） (2025-08-29T21:28:10Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• Deep Conditional Transformation Models [0.0]
  特徴集合上の結果変数条件の累積分布関数(CDF)を学習することは依然として困難である。 条件変換モデルは、条件付きCDFの大規模なクラスをモデル化できる半パラメトリックなアプローチを提供する。 我々は,新しいネットワークアーキテクチャを提案し,異なるモデル定義の詳細を提供し,適切な制約を導出する。
  論文  参考訳（メタデータ） (2020-10-15T16:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。