論文の概要: Thinkink: 2D Spatial Ink-native Interaction with LLMs

• arxiv url: http://arxiv.org/abs/2607.21468v1
• Date: Thu, 23 Jul 2026 16:09:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.476682
• Title: Thinkink: 2D Spatial Ink-native Interaction with LLMs
• Title（参考訳）: シンク: LLMを用いた2次元空間インクネイティブインタラクション
• Abstract要約: Thinkinkは、大きな言語モデル(LLM)を思考プラクティスに統合するツールである。 プロンプトは、手書きのテキストや、LLM生成した応答をインクのようなテキストとして視覚化したスケッチで、空間的に共有キャンバスに統合される。 セマンティックツリーはインク解釈を合理化し、軽量UIはステートマシンを使用して明示的な制御を提供する。
• 参考スコア（独自算出の注目度）: 33.897687911661976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People often use handwritten notes and sketches to externalize ideas for ideation. To integrate large language models (LLMs) into this practice, we propose Thinkink. Prompts can be handwritten text or drawn sketches with LLM-generated responses visualized as ink-like text and sketches spatially integrated into a shared canvas. A semantic tree streamlines ink interpretation, and a lightweight UI provides explicit control using a state machine. The tool was designed using a three-stage process. A formative study (N=12) examined current practices with conventional and digital inking methods. The results informed a technical probe for a diagnostic study (N=6) identifying usability and human-LLM interaction challenges. This motivated the design of Thinkink, with a final study (N=10) examining how people incorporate it into their ideation practices. We contribute design implications and a tool for ink-native LLM interaction where the user and LLM write and draw in a shared 2D canvas.
• Abstract（参考訳）: 人々はしばしば手書きのメモやスケッチを使ってアイデアを外見化する。 大規模言語モデル(LLM)をこのプラクティスに統合するために,Thinkinkを提案する。 プロンプトは、手書きのテキストや、LLM生成した応答をインクのようなテキストとして視覚化したスケッチで、空間的に共有キャンバスに統合される。 セマンティックツリーはインク解釈を合理化し、軽量UIはステートマシンを使用して明示的な制御を提供する。 このツールは3段階のプロセスで設計されている。 フォーマティブ・スタディ (N=12) は, 従来のインキング法とデジタル・インキング法を用いて, 現行の実践について検討した。 その結果, ユーザビリティと人間-LLMインタラクションの課題を識別する技術調査 (N=6) を行った。 このことがThinkinkの設計の動機となり、最終研究(N=10)では、人々がそれをアイデアの実践に組み込む方法が検討された。 我々は、ユーザとLLMが共有2Dキャンバスで書き書きするインキネイティブなLLMインタラクションのツールとして、設計上の意味と貢献する。

関連論文リスト

• Sketch-in-Latents: Eliciting Unified Reasoning in MLLMs [53.57402214935238]
  Sketch-in-Latentsは、統一マルチモーダル推論のための新しいパラダイムである。 連続的な視覚的な埋め込みを生成し、視覚的な思考として潜在スケッチトークンと呼ばれる。 視覚中心のタスクにおいて優れた性能を発揮し、多様な汎用マルチモーダルベンチマークへの強力な一般化を示す。
  論文  参考訳（メタデータ） (2025-12-18T14:29:41Z)
• Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs [80.2089647067782]
  マルチモーダルな大規模言語モデルと内部の視覚的スクラッチパッドを備えたフレームワークであるLatent Sketchpadを紹介した。 人間は、視覚的思考の形でスケッチを使ってアイデアを開発、伝達する方法に触発され、Latent Sketchpadを紹介します。 新しいデータセットMazePlanningでフレームワークを評価する。
  論文  参考訳（メタデータ） (2025-10-28T15:26:20Z)
• Textarium: Entangling Annotation, Abstraction and Argument [2.2344764434954256]
  Textariumは、テキストの解釈中にアノテーション、抽象化、議論を接続するWebベースの環境である。 我々は,解釈過程を透明化し,デジタル物語の中で共有可能にする読み書き手法を開発した。
  論文  参考訳（メタデータ） (2025-09-16T15:46:00Z)
• An Exploratory Study of ML Sketches and Visual Code Assistants [9.451971404904722]
  私たちは、IDE内スケッチ・トゥ・コードツールに関するユーザからのフィードバックを得るために、Visual Code Assistantの最初のプロトタイプを構築します。 機械学習ワークフローを開発する際に、スケッチでよく見られるパターンを分析し、開発者のメンタルモデルを分析する。 LLM-as-judgeセットアップを使用して生成したコードの品質をスコアし、簡単なスケッチであっても有用なコードアウトラインを効果的に生成できることを発見します。
  論文  参考訳（メタデータ） (2024-12-17T23:44:45Z)
• Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping [55.98643055756135]
  初歩的なスケッチのWebページプロトタイプへの変換を自動化する上で,最先端のビジョン言語モデル(VLM)を評価するベンチマークであるSketch2Codeを紹介した。 我々は、既存のVLMではSketch2Codeが困難であることを示す10の商用およびオープンソースモデルを分析した。 UI/UXの専門家によるユーザ調査では、受動的フィードバックの受信よりも、積極的に質問を行うのがかなり好まれている。
  論文  参考訳（メタデータ） (2024-10-21T17:39:49Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Vectorization and Rasterization: Self-Supervised Learning for Sketch and Handwriting [168.91748514706995]
  自己監督型機能学習のための2つの新しいクロスモーダル翻訳プリテキストタスクを提案する:ベクトル化とラスタリゼーション。 当社の学習したエンコーダモジュールは、手書きデータを分析するために、ベースとベクターの両方のダウンストリームアプローチに役立ちます。
  論文  参考訳（メタデータ） (2021-03-25T09:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。