論文の概要: Contextual Control without Memory Growth in a Context-Switching Task
- arxiv url: http://arxiv.org/abs/2604.03479v1
- Date: Fri, 03 Apr 2026 21:58:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.600538
- Title: Contextual Control without Memory Growth in a Context-Switching Task
- Title(参考訳): コンテキストスイッチングタスクにおけるメモリ成長を伴わないコンテキスト制御
- Authors: Song-Ju Kim,
- Abstract要約: 本稿では、リカレントコアがまず共有プレインターベンション潜時状態を構築する、介入に基づくリカレントアーキテクチャを提案する。
我々は,この考え方を,部分観測可能性の下でコンテキストスイッチングなシーケンシャルな決定タスクで評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context-dependent sequential decision making is commonly addressed either by providing context explicitly as an input or by increasing recurrent memory so that contextual information can be represented internally. We study a third alternative: realizing contextual dependence by intervening on a shared recurrent latent state, without enlarging recurrent dimensionality. To this end, we introduce an intervention-based recurrent architecture in which a recurrent core first constructs a shared pre-intervention latent state, and context then acts through an additive, context-indexed operator. We evaluate this idea on a context-switching sequential decision task under partial observability. We compare three model families: a label-assisted baseline with direct context access, a memory baseline with enlarged recurrent state, and the proposed intervention model, which uses no direct context input to the recurrent core and no memory growth. On the main benchmark, the intervention model performs strongly without additional recurrent dimensions. We also evaluate the models using the conditional mutual information (I(C;O | S)) as a theorem-motivated operational probe of contextual dependence at fixed latent state. For task-relevant phase-1 outcomes, the intervention model exhibits positive conditional contextual information. Together, these results suggest that intervention on a shared recurrent state provides a viable alternative to recurrent memory growth for contextual control in this setting.
- Abstract(参考訳): コンテキスト依存シーケンシャルな意思決定は、コンテキストを明示的に入力として提供するか、あるいはコンテキスト情報を内部的に表現できるように再帰メモリを増大させることによって、一般的に対処される。
第3の代替策として、共用リカレント潜時状態に介入することでコンテキスト依存を実現する。
この目的のために、リカレントコアがまず共有プレインターベンション潜時状態を構築し、コンテキストが付加的なコンテキストインデックス演算子を介して振る舞う、インタペンションベースのリカレントアーキテクチャを導入する。
我々は,この概念を部分観測可能性の下でコンテキストスイッチングシーケンシャルな決定タスクで評価する。
3つのモデルファミリを比較する: 直接コンテキストアクセスを持つラベル支援ベースライン、拡張されたリカレント状態を持つメモリベースライン、および、リカレントコアへの直接コンテキスト入力を使用しず、メモリ成長のない介入モデル。
メインベンチマークでは、介入モデルは追加の繰り返し次元なしで強く実行される。
また, 条件付き相互情報(I(C;O | S))を, 一定の潜伏状態における文脈依存の定理的操作プローブとして用いたモデルの評価を行った。
タスク関連フェーズ1の結果に対して、介入モデルは肯定的な条件付き文脈情報を示す。
これらの結果から,共有リカレント状態への介入は,この設定におけるコンテキスト制御のための再カレントメモリ成長の代替となる可能性が示唆された。
関連論文リスト
- Representation-Level Counterfactual Calibration for Debiased Zero-Shot Recognition [36.36218470387896]
私たちはこの問題を因果推論問題として再考し、次のような質問をした。
推測時にこれを答えるために、CLIPの表現空間内のオブジェクトと背景の期待値を推定し、反ファクトの埋め込みを合成する。
提案手法は,再訓練や即時設計を伴わず,文脈に敏感なベンチマークにおいて,最悪のグループと平均精度の両方を著しく改善する。
論文 参考訳(メタデータ) (2025-10-30T13:11:23Z) - PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。
本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。
我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
論文 参考訳(メタデータ) (2025-02-24T19:48:00Z) - Structured Context Recomposition for Large Language Models Using Probabilistic Layer Realignment [0.0]
本稿では,トランス層内の学習表現を動的に調整する確率的層配向戦略を提案する。
急激なトピックシフトと論理的不整合を軽減し、特にシークエンスが標準の注意窓の制約を超えるシナリオにおいて。
SCRは処理時間を適度に増加させるが、メモリオーバーヘッドは実現可能な限界内に留まり、自動回帰生成アプリケーションへの実用的なデプロイに適している。
論文 参考訳(メタデータ) (2025-01-29T12:46:42Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-11-06T16:40:13Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳(メタデータ) (2023-03-10T14:38:49Z) - Document-level Relation Extraction with Context Guided Mention
Integration and Inter-pair Reasoning [18.374097786748834]
文書レベルの関係抽出(DRE)は、2つの実体間の関係を認識することを目的としている。
これまでの研究では、言及の統合についてはほとんど研究されていないが、これは問題となるかもしれない。
本稿では,コンテキストガイドメンション統合とペア間推論という2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2022-01-13T08:00:23Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳(メタデータ) (2021-10-19T16:15:56Z) - Element Intervention for Open Relation Extraction [27.408443348900057]
OpenREは、同じ基盤となる関係を参照する関係インスタンスをクラスタ化することを目的としている。
現在のOpenREモデルは、一般的に遠隔監視から生成されたデータセットに基づいてトレーニングされている。
本稿では,OpenREの手順を因果的観点から再考する。
論文 参考訳(メタデータ) (2021-06-17T14:37:13Z) - A New Bandit Setting Balancing Information from State Evolution and
Corrupted Context [52.67844649650687]
本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。
任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。
本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-11-16T14:35:37Z) - SelfORE: Self-supervised Relational Feature Learning for Open Relation
Extraction [60.08464995629325]
オープンドメイン関係抽出は、自然言語文からオープンドメイン関係事実を抽出するタスクである。
弱い自己教師型信号を利用する自己教師型フレームワークであるSelfOREを提案する。
3つのデータセットの実験結果は、SelfOREの有効性とロバスト性を示している。
論文 参考訳(メタデータ) (2020-04-06T07:23:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。