論文の概要: Intelligent Interaction Techniques (IIxT) - Proposal

• arxiv url: http://arxiv.org/abs/2609.16295v1
• Date: Mon, 14 Sep 2026 19:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.217952
• Title: Intelligent Interaction Techniques (IIxT) - Proposal
• Title（参考訳）: インテリジェントインタラクション技術(IIxT)の提案
• Abstract要約: IxTをもっとインテリジェントにすることで、ユーザーは自由にモダリティを混ぜることができます。 このビジョンには、セキュリティ、プライバシー、経済的影響も大きい。
• 参考スコア（独自算出の注目度）: 20.855621655001517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interaction techniques (IxTs) are the low-level, reusable components out of which user interfaces are designed, including menus, scroll bars, text input fields, and also copy-paste, text-entry, and selecting objects. The IxTs for graphical user interfaces (GUIs) were well established in the 1980s, with relatively minor additions and tweaks for smartphones in the 2000s. Most of today's AI user interfaces involve a chat window, which is an excellent interaction for some tasks, but is generally considered separate from the GUI IxTs. I argue for making the IxTs themselves more intelligent, so users can freely mix modalities, even within the same interaction. This will require research into new IxTs, and also into the infrastructure that will enable these intelligent IxTs (IIxTs) to be built. There are also significant security, privacy and economic implications to this vision.
• Abstract（参考訳）: インタラクション技術(Interaction Technique, IxTs)は、メニュー、スクロールバー、テキスト入力フィールド、コピーペースト、テキスト入力、オブジェクトの選択など、ユーザインターフェースが設計された低レベルで再利用可能なコンポーネントである。 グラフィカルユーザインタフェース(GUI)用のIxTは1980年代によく確立され、2000年代にはスマートフォンに比較的小さな追加や微調整が行われた。 今日のAIユーザインターフェースのほとんどは、いくつかのタスクに優れたインタラクションであるチャットウィンドウを含んでいるが、一般的にはGUI IxTとは別のものと考えられている。 IxT自体をよりインテリジェントにすることで、ユーザは同じインタラクション内でも、自由にモダリティを混ぜることができます。 これにより、新しいIxTの研究や、これらのインテリジェントIxT(IIxT)の構築を可能にするインフラの整備も必要になる。 このビジョンには、セキュリティ、プライバシー、経済的影響も大きい。

関連論文リスト

• Q&A or Document-Based? The Effects of Interface Type on How Screen Reader Users Access Interconnected Documents [10.80269383149208]
  Blind and Low-vision (BLV) ユーザはドキュメントにアクセスするための大きな言語モデル (LLM) インターフェースにますます関与している。 質問応答インタフェース (QAI) と, 従来型の文書ナビゲーションに基づく文書インタフェース (DI) を比較した。
  論文  参考訳（メタデータ） (2026-08-26T05:16:44Z)
• What's Missing in Screen-to-Action? Towards a UI-in-the-Loop Paradigm for Multimodal GUI Reasoning [58.734995044357845]
  UI-in-the-Loop(UILoop)と呼ばれる革新的なGUI推論パラダイムを提案する。 提案手法はGUI推論タスクをサイクリックスクリーンUI要素のアクションプロセスとして扱う。 MLLM(Multimodal Large Language Models)によって、キーUI要素のローカライゼーション、セマンティック関数、実用的な使用法を明示的に学習することで、UILoopは正確な発見を達成し、解釈可能な推論を行う。
  論文  参考訳（メタデータ） (2026-04-08T12:12:09Z)
• Generative Interfaces for Language Models [70.25765232527762]
  ユーザインタフェース(UI)を積極的に生成することにより,大規模言語モデル(LLM)がユーザクエリに応答するパラダイムを提案する。 本フレームワークは,ユーザクエリをタスク固有のUIに変換するために,構造化インターフェース固有の表現と反復的洗練を活用している。 その結果、生成的インタフェースは人間の嗜好を最大72%改善し、会話的インタフェースよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-08-26T17:43:20Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• Generative AI in Multimodal User Interfaces: Trends, Challenges, and Cross-Platform Adaptability [0.0]
  ジェネレーティブAIは、ユーザーインターフェイスを再構築する上で重要なドライバとして登場します。 本稿では,現代ユーザインタフェースにおける生成AIの統合について考察する。 マルチモーダルインタラクション、クロスプラットフォーム適応性、動的パーソナライゼーションに焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-15T14:49:58Z)
• Emotion-Aware Interaction Design in Intelligent User Interface Using Multi-Modal Deep Learning [6.641594132182296]
  本研究では,ユーザインタフェース(UI)設計の感情応答性を大幅に向上させる,高度な感情認識システムを提案する。 マルチブランチトランスフォーマーモデルを通じて表情、音声、テキストデータを統合することにより、システムは複雑な感情的手がかりをリアルタイムで解釈する。 本モデルでは,公的なMELDデータセットを用いて感情認識精度とF1スコアを大幅に改善し,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-10T01:26:39Z)
• Survey of User Interface Design and Interaction Techniques in Generative AI Applications [79.55963742878684]
  我々は,デザイナやディベロッパの参照として使用できる,さまざまなユーザインタラクションパターンのコンペレーションを作ることを目指している。 また、生成AIアプリケーションの設計についてもっと学ぼうとする人たちの参入障壁を低くしようと努力しています。
  論文  参考訳（メタデータ） (2024-10-28T23:10:06Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-World: A Video Benchmark and Dataset for Multimodal GUI-oriented Understanding [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,画像LLMやビデオLLMなどの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• X2T: Training an X-to-Text Typing Interface with Online Learning from User Feedback [83.95599156217945]
  ユーザがキーボードを操作できないが、他の入力を供給できる、補助型タイピングアプリケーションに焦点を当てる。 標準メソッドは、ユーザ入力の固定データセット上でモデルをトレーニングし、そのミスから学ばない静的インターフェースをデプロイする。 このようなインターフェースが時間の経過とともに改善されるようなシンプルなアイデアを,ユーザによる最小限の努力で検討する。
  論文  参考訳（メタデータ） (2022-03-04T00:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。