論文の概要: Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection
- arxiv url: http://arxiv.org/abs/2610.27364v1
- Date: Mon, 19 Oct 2026 22:43:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.537849
- Title: Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection
- Title（参考訳）: 予測クロージャ:JEPAの機能選択のセットレベル評価
- Abstract要約: 共同埋め込み予測アーキテクチャ(JEPA)では、エンコーダと予測器が一緒に訓練され、次の観測の表現を予測する際の誤差を最小限に抑える表現を生成する。
選択は特徴集合の性質に依存することを示す。
- 参考スコア（独自算出の注目度）: 27.74652639127234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In joint-embedding predictive architectures (JEPA), an encoder and a predictor are trained together to produce a representation that minimizes the error in predicting the representation of the next observation. Because the representations of both the current and the next observation are learned, it is unclear which features they will include. Earlier characterizations describe the features JEPA selects in terms of their individual predictability, raising the concern that unpredictable features, like a traffic light, will not be encoded into the representation. However, the prediction error is also affected by the relationships between features, e.g., the light's color helps predict whether the traffic will stop. We propose the predictive closure characterization, which accounts for these relationships. Based on a reformulation of the JEPA training objective, we show that selection depends on properties of feature sets. This view agrees with earlier works when features evolve independently, but makes new predictions when they do not, for instance that a feature like the traffic light can still be retained. We test this characterization in controlled experiments, which show that unpredictable features can become better represented when they help predict other features, and that changing one feature's predictive relationships can affect how well others are represented. We also demonstrate implications for steering feature selection: targeting one feature with an auxiliary objective, or supplying it to the predictor as side information, can strengthen the representation of another feature whose future values it helps predict, so steering can be indirect.
- Abstract（参考訳）: 共同埋め込み予測アーキテクチャ(JEPA)では、エンコーダと予測器が一緒に訓練され、次の観測の表現を予測する際の誤差を最小限に抑える表現を生成する。
電流と次の観測の両方の表現が学習されるため、それらがどの特徴を含むかは定かではない。
以前のキャラクタリゼーションでは、JEPAが個々の予測可能性の観点から選択した機能を記述しており、予測不可能な機能(トラフィックライトなど)が表現にエンコードされないという懸念を提起している。
しかし、予測誤差は、例えば、光の色がトラフィックが停止するかどうかを予測するのに役立ち、特徴間の関係に影響される。
本稿では,これらの関係を考慮に入れた予測的閉鎖特性を提案する。
JEPAトレーニングの目的の見直しに基づいて、選択は特徴セットの特性に依存することを示す。
この見解は、機能が独立して進化する以前の作業と一致しているが、そうでない場合には、例えば、信号のような機能は引き続き保持できる、という新たな予測を行う。
この特徴を制御実験で検証したところ、他の特徴を予測するのに役立ち、予測不可能な特徴がより良く表現されるようになり、ある特徴の予測関係の変化が、他の特徴がどれだけうまく表現されるかに影響を及ぼすことが示された。
我々はまた、ある特徴を補助的な目的で標的にしたり、その特徴を副次的な情報として予測者に供給したり、将来の価値を予測できる他の特徴の表現を強化することで、その特徴の選択を間接的に行うことの意義も示している。
関連論文リスト
- Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects [58.98080129016082]
Feature-Effect Geometry Analysis (FEGA)は、コンテキスト間で同じアクティブなSAE機能を削除した教師なしのフレームワークである。
ステアリングの安定な方向を提供することなく,特徴を解釈し,因果的に関連付けることができることを示す。
論文 参考訳（メタデータ） (2026-07-27T16:45:08Z) - Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study [0.0]
共同埋め込み予測(JEPA)の目的は、将来の潜伏者を予測することによって表現を学ぶことである。
これは、制御関連性よりも時間的予測可能性の最適化が目的であるからである。
報酬ラベル付き遷移の2%がこの機能を回復すると、その効果は2つの環境にまたがることがわかった。
論文 参考訳（メタデータ） (2026-06-29T10:00:50Z) - Predicting Future Behaviors in Reasoning Models Enables Better Steering [35.89008737242842]
テストタイムステアリングは、隠れた表現を介入することで大きな推論モデル(LRM)を制御するが、出力品質を低下させることができる。
我々は、事前のステアリング作業は、すでに生成されたテキストの振る舞いを検出する内部機能に暗黙的に依存していると論じる。
我々は、中間推論ステップから将来の行動可能性を予測するために、アクティベーションプローブを訓練する。
これらのプローブは64%-91%の精度で最も起こりそうな振る舞いを予測し、内部予測の異なるタイプの特徴を明らかにした。
論文 参考訳（メタデータ） (2026-06-09T17:49:24Z) - Feature Importance in Pedestrian Intention Prediction: A Context-Aware Review [9.475536008455133]
コンピュータビジョンとディープニューラルネットワークを用いた自律走行車における歩行者横断意図の予測の最近の進歩は有望である。
歩行者の意図予測に適した新しいアプローチであるCAPFI(Context-aware Permutation Feature Importance)を導入する。
CAPFIは、細分化されたシナリオコンテキストを活用することにより、より解釈可能性と信頼性の高い特徴重要度評価を可能にする。
論文 参考訳（メタデータ） (2024-09-11T22:13:01Z) - Fairness-Aware Streaming Feature Selection with Causal Graphs [10.644488289941021]
Streaming Feature Selection with Causal Fairness build causal graphs egocentric to predict label and protected feature。
ストリーミング機能研究で広く使われている5つのデータセットに対して、SFCFをベンチマークする。
論文 参考訳（メタデータ） (2024-08-17T00:41:02Z) - Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。
予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。
よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文 参考訳（メタデータ） (2024-08-09T16:03:44Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Finding Useful Predictions by Meta-gradient Descent to Improve
Decision-making [1.384055225262046]
我々は、一般値関数として表現される予測に焦点をあてる: 将来的な信号の蓄積の時間的拡張推定。
ひとつの課題は、エージェントが意思決定をサポートする可能性のある予測を、無限に多くの予測から決定することである。
これらの予測を手動で指定するのではなく、学習することにより、エージェントは自己管理的な方法で有用な予測を特定できる。
論文 参考訳（メタデータ） (2021-11-18T20:17:07Z) - Heterogeneous-Agent Trajectory Forecasting Incorporating Class
Uncertainty [54.88405167739227]
本稿では,エージェントのクラス確率を明示的に組み込んだヘテロジニアスエージェント軌道予測手法であるHAICUを提案する。
さらに,新たな挑戦的な実世界の自動運転データセットであるpupも紹介する。
軌道予測にクラス確率を組み込むことで,不確実性に直面した性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2021-04-26T10:28:34Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。