論文の概要: VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
- arxiv url: http://arxiv.org/abs/2610.15915v1
- Date: Sun, 11 Oct 2026 20:55:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 15:19:44.378068
- Title: VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
- Title(参考訳): VIEWCRAFT: マルチモーダルエージェントが見ているものや読み方を進化させる
- Abstract要約: 実行可能なエビデンスインターフェースと読み出し手順を共同で進化させるViewCraftを紹介する。
8つのベンチマークで、ViewCraftはタスクスコアの平均6.1ドルポイントの直接実行よりも改善され、ベンチマーク毎に利得がある。
学習したスキルは、エグゼキュータ間での転送も行い、評価された転送毎に直接実行よりも優れています。
- 参考スコア(独自算出の注目度): 21.349484507111598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reusable skills improve multimodal agents without updating model weights, but their effectiveness depends on both the evidence presented and the procedure used to read it. We introduce ViewCraft, which jointly evolves an executable evidence interface and its reading procedure. The interface selects, transforms, and organizes observations; the reader interprets the resulting views. Failure traces guide revisions, replay and paired evaluation retain useful changes, and interface projection recovers visual edits from eligible rejected joint proposals. Across eight benchmarks, ViewCraft improves over direct execution by an average of $6.1$ points in task score, with gains on every benchmark. The advantage persists at a matched input-token budget. On all five multi-source tasks, the learned interface uses 8%-15% fewer input tokens than Initial skill. The learned skills also transfer across executors and outperform direct execution in every evaluated transfer, supporting evidence construction and reading as a coupled, reusable skill.
- Abstract(参考訳): 再利用可能なスキルは、モデルウェイトを更新せずにマルチモーダルエージェントを改善するが、その効果は提示された証拠とそれを読むための手順の両方に依存する。
実行可能なエビデンスインターフェースと読み出し手順を共同で進化させるViewCraftを紹介する。
インターフェースは観察を選択し、変換し、整理する。
フェールトレースは、リビジョン、リプレイ、ペア評価をガイドし、有用な変更を維持し、インタフェースプロジェクションは、許容された拒否された共同提案から視覚的な編集を復元する。
8つのベンチマークで、ViewCraftはタスクスコアの平均6.1ドルポイントの直接実行よりも改善され、ベンチマーク毎に利得がある。
利点は、一致した入出力予算で持続する。
5つのマルチソースタスクにおいて、学習されたインターフェースは初期スキルよりも8%から15%少ない入力トークンを使用する。
学習したスキルは、実行者間で伝達し、評価された転送毎に直接実行を上回り、エビデンスの構築と読み取りを、組み合わせて再利用可能なスキルとしてサポートします。
関連論文リスト
- EvoCowork: A Benchmark for Real-World Office Tasks [15.379142918215033]
EvoCoworkは、4つのオフィスモードで自己改善を評価する240タスクのベンチマークである。
そのプロトコルはフィードバック、リビジョンの選択、最終テストを分離する。
最高設定は総合42.25点、クロスオフィスでは30.62点である。
論文 参考訳(メタデータ) (2026-10-10T11:43:07Z) - Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。
Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
論文 参考訳(メタデータ) (2026-10-08T14:42:57Z) - Tracing the Evidence: Faithful Token Attribution Through Vision-Language Reasoning [35.205489139466046]
VTraceは、中間的推論を通じて入力コントリビューションをトレースし、モダリティ間の属性スコアをカリブレートするフレームワークである。
6つの視覚的推論ベンチマークにおける7つの基準線に対する評価は、より優れた帰属忠実性を示している。
論文 参考訳(メタデータ) (2026-09-29T14:18:00Z) - Write, Execute, Refine: From Skill Followers to Skill Optimizers via Reinforcement Learning from Execution Feedback [52.78692582507693]
専門家による自然言語スキルは、ツール使用エージェントを改善することができるが、エージェントによるスキルは、スキルを使用しないよりも8-11ポイント悪い。
本研究では,中間的スキルから実行経験を訓練状態に整理する方法について検討する。
論文 参考訳(メタデータ) (2026-08-18T09:52:48Z) - DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models [13.866355425347384]
視覚言語モデルの視覚入力は、しばしばテキストよりもかなり長いトークンシーケンスに符号化される。
近年の手法では、トークンの重要度を判定し、低スコアのトークンを1回のパスでプルーニングすることで、このボトルネックに対処している。
この知見に触発されたDIVEは、動的エビデンス構築として視覚障害者のプルーニングをリキャストする、トレーニング不要のフレームワークである。
論文 参考訳(メタデータ) (2026-08-05T06:32:25Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳(メタデータ) (2026-06-12T08:20:09Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳(メタデータ) (2026-06-10T01:11:50Z) - See and Switch: Vision-Based Branching for Interactive Robot-Skill Programming [2.099922236065961]
See & Switchは、タスクを意思決定状態(DS)を介して接続されたスキル部品のユーザ拡張可能なグラフとして表現する対話型指導・実行フレームワークである。
我々の視覚ベースのSwitcherは、視線画像(高次元)を使用して、競合する後継スキル部品を選択し、配布外のコンテキストを検出する。
提案手法は,576個の実ロボットロールアウトに対して,それぞれ90.7%,87.9%の精度で分岐選択と異常検出を確実に行うことを示す。
論文 参考訳(メタデータ) (2026-03-09T07:47:47Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。
IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
論文 参考訳(メタデータ) (2024-06-19T16:37:31Z) - Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。
提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。
ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文 参考訳(メタデータ) (2021-06-07T17:13:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。