論文の概要: The Power of Meta Access in the Software of the Future --- Demonstrated on LLM Chat UIs and Chat AI
- arxiv url: http://arxiv.org/abs/2611.08428v1
- Date: Thu, 05 Nov 2026 18:22:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.62008
- Title: The Power of Meta Access in the Software of the Future --- Demonstrated on LLM Chat UIs and Chat AI
- Title（参考訳）: 未来のソフトウェアにおけるメタアクセスの力 - LLM Chat UIとChat AIを例に-
- Abstract要約: コーディングや自動化においてOpenCodeのようなエージェントツールが優れているとしても、Chatは多くの大規模言語モデル(LLM)タスクのデフォルトサーフェスのままである。
メタアクセスを探索し、インターフェース自体の構造化された許可されたビューをアシスタントに与えます。
機能学習,メタデータ,設定,優先アクセス,要約やメッセージの検索,突然変異確認,完全なオーケストレーションなど,さまざまなレベルを提案する。
- 参考スコア（独自算出の注目度）: 0.03819617852128932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chat remains the default surface for many large language model (LLM) tasks, even as agentic tools such as OpenCode excel at coding and automation. Yet the model sees the current dialogue but not the workspace around it. We explore meta access---giving the assistant a structured, permissioned view of the interface itself and propose a ladder of levels: feature tutoring; metadata, settings, and preference access; retrieval over summaries and messages, confirmed mutation, and full orchestration. Meta access can turn a chat client from many screens into one entry point for finding, navigating, organising, and operating it, while raising risks around grounding, privacy, prompt injection, and trust. General-purpose agentic harnesses are runtimes; because they can change their own settings, meta access becomes reflexive and needs a separate control-plane boundary. We ground this in the Meta Chat prototype of the Chat AI client. It builds bounded context from, e.g., summaries, settings, and relevant messages; links references to conversations, topics, and personas; supports confirmed, reversible changes; offers a browsable tutorial library; and recommends personas as user-started conversations. By exposing application state in structured form, meta access can extend screen readers from widget descriptions to semantic workspace operations. Meta access thus turns chat from a window onto one conversation into a control layer for the whole workspace, extending chat toward agentic capability without surrendering user control. As assistants become embedded in IDEs, dashboards, office suites, and operating systems, AI-era interfaces should expose a structured, permissioned model of their state and capabilities, ideally by opening their existing metamodels through a debugger-like interface.
- Abstract（参考訳）: コーディングや自動化においてOpenCodeのようなエージェントツールが優れているとしても、Chatは多くの大規模言語モデル(LLM)タスクのデフォルトサーフェスのままである。
しかし、モデルは現在の対話を見るが、その周りのワークスペースは見ることができない。
メタアクセスについて検討する - アシスタントにインターフェース自体の構造化されたパーミッションビューを付与し、機能チュータリング、メタデータ、設定、設定アクセス、要約やメッセージの検索、確認された突然変異、完全なオーケストレーションといったレベルレベルを提案する。
メタアクセスは、チャットクライアントを多くの画面から1つのエントリポイントに変換し、ナビゲートし、組織化し、運用する。
汎用エージェントハーネスはランタイムであり、独自の設定を変更することができるため、メタアクセスは反射的になり、別のコントロールプレーン境界が必要になる。
私たちはこれを、Chat AIクライアントのMeta Chatプロトタイプに置きます。
例えば、要約、設定、関連するメッセージからのコンテキスト境界の構築、会話、トピック、ペルソナへの参照のリンク、確認された可逆的な変更のサポート、ブラウズ可能なチュートリアルライブラリの提供、ユーザ開始時の会話としてペルソナを推奨する。
構造化フォームでアプリケーション状態を公開することで、メタアクセスはウィジェット記述からセマンティックワークスペース操作までスクリーンリーダーを拡張することができる。
メタアクセスにより、チャットはウィンドウからひとつの会話に変換され、ワークスペース全体のコントロール層に変換される。
アシスタントがIDE、ダッシュボード、オフィススイート、オペレーティングシステムに埋め込まれるにつれて、AI時代のインターフェースは、デバッガのようなインターフェースを通じて既存のメタモデルをオープンすることで、その状態と機能の構造化されたパーミッションモデルを公開するべきである。
関連論文リスト
- Syll: Open-Source Personal Automation with Cross-Surface Execution [73.77463150026068]
オープンソースで自己ホスト型マルチモーダルエージェントであるSyllを紹介します。
Syllは、MPP/APIツール、CLI実行、モジュールランタイムでのビジュアルコントロールを統合する。
私たちの実装は、Adobe Photoshop、Adobe Audition、Stardew Valley、Finderなどのプロダクションデスクトップアプリケーションで検証されています。
論文 参考訳（メタデータ） (2026-05-28T17:59:31Z) - ShowUI-Aloha: Human-Taught GUI Agent [46.35538753446132]
ShowUI-Alohaは、非構造化され、その内部の人間のスクリーン記録を構造化され、実行可能なタスクに変換する。
学習者はこれらの生の相互作用と周囲の視覚的文脈を意味論的に解釈し、それらを記述的な自然言語キャプションに翻訳する。
解析されたデモを読み、タスク状態を維持し、次のハイレベルアクションプランを動的に定式化するプランナー。
論文 参考訳（メタデータ） (2026-01-12T04:04:20Z) - MMWOZ: Building Multimodal Agent for Task-oriented Dialogue [61.816787158531874]
我々は、MultiWOZ 2.3データセットから拡張された新しいマルチモーダル対話データセットを開発する。
MMWOZデータセットのベースラインモデルとして,MATEと呼ばれる新しいマルチモーダルモデルを提案する。
論文 参考訳（メタデータ） (2025-11-16T13:08:03Z) - Generative Interfaces for Language Models [70.25765232527762]
ユーザインタフェース(UI)を積極的に生成することにより,大規模言語モデル(LLM)がユーザクエリに応答するパラダイムを提案する。
本フレームワークは,ユーザクエリをタスク固有のUIに変換するために,構造化インターフェース固有の表現と反復的洗練を活用している。
その結果、生成的インタフェースは人間の嗜好を最大72%改善し、会話的インタフェースよりも一貫して優れていた。
論文 参考訳（メタデータ） (2025-08-26T17:43:20Z) - Bridging UI Design and chatbot Interactions: Applying Form-Based Principles to Conversational Agents [0.2356141385409842]
本稿では,大規模言語モデル(LLM)プロンプト内の明示的なタスクとして,GUIにインスパイアされたメタファ(サブミット様)とコンテキストスイッチング(リセット様)をモデル化することを提案する。
ホテル予約と顧客管理のシナリオにおけるアプローチを実証し、マルチターンタスクコヒーレンス、ユーザ満足度、効率性の改善を強調した。
論文 参考訳（メタデータ） (2025-07-02T16:24:50Z) - Creating General User Models from Computer Use [53.59999173952482]
本稿では,コンピュータとのインタラクションを観察することでユーザについて学習する汎用ユーザモデル(GUM)のアーキテクチャを提案する。
GUMは、ユーザ(例えばデバイスのスクリーンショット)の非構造化観察を入力として受け取り、ユーザの知識と好みをキャプチャする信頼度重み付け命題を構築する。
論文 参考訳（メタデータ） (2025-05-16T04:00:31Z) - CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。
AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-19T08:29:03Z) - Adapting Task-Oriented Dialogue Models for Email Conversations [4.45709593827781]
本稿では,対話モデルの最新開発を長文会話に適用できる効果的な伝達学習フレームワーク(EMToD)を提案する。
提案するEMToDフレームワークは,事前学習した言語モデルに対する意図検出性能を45%向上し,タスク指向の電子メール会話において,事前学習した対話モデルに対する意図検出性能を30%向上することを示す。
論文 参考訳（メタデータ） (2022-08-19T16:41:34Z) - Fusing task-oriented and open-domain dialogues in conversational agents [12.338220374261343]
2つの対話モードは、友好的な人間のアシスタントが簡単に行うように、同じ会話でシームレスに連携することができる。
本稿では,マルチターン対話におけるTODとODDの融合の問題に対処する。
すなわち、対話は2つのモードから切り替わる。
論文 参考訳（メタデータ） (2021-09-09T09:48:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。