論文の概要: CueRator: Agentic Search for Symbolic Rules to Adapt Frozen Multimodal Encoders
- arxiv url: http://arxiv.org/abs/2610.07868v1
- Date: Tue, 06 Oct 2026 07:18:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.864748
- Title: CueRator: Agentic Search for Symbolic Rules to Adapt Frozen Multimodal Encoders
- Title(参考訳): CueRator: 凍結したマルチモーダルエンコーダに対応するシンボリックルールのエージェント検索
- Abstract要約: CueRatorはポリシー対応の意思決定ルール発見のためのエージェントフレームワークである。
クロスモーダルな類似性を予測に変換する決定規則を探索することで、フリーズコントラストのマルチモーダルエンコーダに適応する。
オープン・ボキャブラリ・オーディオ・ヴィジュアル・イベントの知覚で検証する。
- 参考スコア(独自算出の注目度): 7.826108288559695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model agents have been used to search over symbolic structures such as programs and equations. We propose CueRator, an agentic framework for policy-aware decision-rule discovery, which adapts frozen contrastive multimodal encoders by searching for the decision rule that converts their cross-modal similarities into predictions. We validate it on open-vocabulary audio-visual event perception, where existing methods involve a trade-off between adaptivity and generalization to unseen categories: trained modules adapt at the cost of generalization, and fixed rules the reverse. The framework pairs a symbolic formulation for generalization with a lightweight policy that predicts its parameters per video for adaptivity. A report-guided multi-agent loop discovers the formulation offline, evaluating each candidate on its expressive ceiling and on whether a trained policy can realize it. On OV-AVEBench, CueRator raises the total average from 57.8 to 60.2 and unseen-category performance from 55.8 to 59.9 over the best existing method, reducing the seen-unseen gap from 7.1 to 1.2. Ablations attribute the gains to both the formulation and the policy and show that both feedback signals are necessary for effective search. CueRator also improves over the respective baselines on two further audio-visual event perception tasks, and the discovered rule remains competitive across encoders with only the policy retrained. Code is available at https://github.com/cvsp-lab/cuerator.
- Abstract(参考訳): 大規模言語モデルエージェントは、プログラムや方程式のような記号構造を探索するために使われてきた。
本稿では,政策対応型意思決定ルール発見のためのエージェントフレームワークであるCueRatorを提案する。
既存の手法では適応性と一般化のトレードオフを未確認のカテゴリに含んでおり、訓練されたモジュールは一般化のコストで適応し、規則は逆になる。
このフレームワークは、一般化のための象徴的な定式化と、適応性のためにビデオ毎のパラメータを予測する軽量なポリシーを組み合わせている。
レポート誘導型マルチエージェントループは,定式化をオフラインで発見し,各候補をその表現的天井上で評価し,訓練されたポリシーがそれを実現するかどうかを判断する。
OV-AVEBenchでは、CueRatorの総平均は57.8から60.2に上昇し、未確認のカテゴリーは55.8から59.9に向上し、未確認のギャップは7.1から1.2に減少する。
アブレーションは、定式化とポリシーの両方の利得を考慮し、効果的な探索には双方のフィードバック信号が必要であることを示す。
CueRatorはまた、さらに2つのオーディオ視覚イベント知覚タスクのベースラインを改善し、発見されたルールは、ポリシーを再訓練しただけでエンコーダ間で競合する。
コードはhttps://github.com/cvsp-lab/cuerator.comから入手できる。
関連論文リスト
- Co-Evolving LLM Evaluators and Policies via DynamicRubric [67.2962847914162]
政策によって引き起こされたサンプルに対する評価者フィードバックによるポストトレーニングは、大きな言語モデルを改善するための主要なメカニズムとなる。
反応条件付き評価器であるDynamicRubricを提案する。
8Bバックボーンを用いた実験では、DynamicRubricは評価器のパフォーマンスを改善し、ベースラインよりも強力なポリシー管理を提供する。
論文 参考訳(メタデータ) (2026-07-22T12:35:40Z) - Vector Search As Nearest Neighbor Matching: RAG-based Policy Learning in Causal Inference [5.457279006229211]
検索強化世代(RAG)を用いた政策学習の一段階と二段階の手法を提案する。
我々はこの2段階の手法の後悔を、候補世代の後悔と候補内選択の後悔に分解する。
我々は,その中間計算が観測されていないため,一段階法を直接ポリシーとして評価する。
論文 参考訳(メタデータ) (2026-07-20T17:57:20Z) - Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation [5.263138429758972]
本稿では,Multimodal Retrieval (MAGMaR)によるマルチモーダル生成に関する第2回ワークショップのシステム記述について述べる。
言語間の長いビデオ理解,厳密なペルソナの定着,ゼロ・ハロシン化時間的接地といった重要な課題に対処するため,2段階のビデオRAGパイプラインを提案する。
我々のアーキテクチャは、認知的論理的推論から、モダリティを意識した分業を通じて意味的検索を戦略的に分離する。
論文 参考訳(メタデータ) (2026-06-06T01:17:40Z) - SiMPO: Measure Matching for Online Diffusion Reinforcement Learning [52.46919717963149]
一般単調関数を持つ拡散RLにおける再重み付けスキームを一般化する,シンプルで統一的なフレームワークであるSiMPOを紹介する。
SiMPOは2段階の測度マッチングレンズを介して拡散RLを再考する。
我々は、負の再重み付けが準最適行動から政策を積極的に反映していることを示す幾何学的解釈を提供する。
論文 参考訳(メタデータ) (2026-03-10T22:01:13Z) - Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric [10.220923271217632]
スカラー報酬モデルでは、多次元の人間の嗜好を1つの不透明スコアに圧縮する。
プラグ・アンド・プレイのルーブリックベースのLLM-as-a-JudgeフレームワークであるOpen System(OpenRS)を紹介する。
OpenRSは明示的なメタルブリックを使用します -- ガバナンスがどのようにインスタンス化され、重み付けされ、強制されるかという、コンスティチューションのような仕様です。
論文 参考訳(メタデータ) (2026-02-15T09:39:39Z) - Policy-Conditioned Policies for Multi-Agent Task Solving [53.67744322553693]
本研究では,ポリシーを人間の解釈可能なソースコードとして表現することでギャップを埋めるパラダイムシフトを提案する。
本研究では,Large Language Models (LLM) を近似インタプリタとして利用することにより,学習問題を再構築する。
我々はこのプロセスを,ポリシーコードをテキスト勾配で最適化するアルゴリズムである TextitProgrammatic Iterated Best Response (PIBR) として定式化する。
論文 参考訳(メタデータ) (2025-12-24T07:42:10Z) - Guide Your Agent with Adaptive Multimodal Rewards [107.08768813632032]
本研究は、エージェントの一般化能力を高めるための効率的なフレームワークであるアダプティブリターン条件付きポリシー(ARP)を提示する。
我々のキーとなる考え方は、事前訓練されたマルチモーダル埋め込み空間における視覚観察と自然言語命令の類似性を計算することである。
マルチモーダル報酬は各タイミングで適応的な信号を提供するので、ARPはゴールの一般化を効果的に軽減する。
論文 参考訳(メタデータ) (2023-09-19T17:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。