論文の概要: Can LLMs Test Terminal User Interfaces?

• arxiv url: http://arxiv.org/abs/2608.03743v1
• Date: Tue, 04 Aug 2026 14:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.244175
• Title: Can LLMs Test Terminal User Interfaces?
• Title（参考訳）: LLMはターミナルユーザインタフェースをテストできるか?
• Abstract要約: Terminal User Interfaces (TUI) は、GUIのステートフルでスクリーン指向の動作と端末の配置を結合する。 インターフェースを実行するのはテストコードのわずか12%で、これらのテストの45%は入力を送信しません。 これらのアプリケーションを、ratatui/Rust、bbletea/Go、textual/Python、ink/TypeScriptにまたがるヘッドレスベンチマークに変換する。
• 参考スコア（独自算出の注目度）: 18.37827501923231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Terminal User Interfaces (TUIs) combine the stateful, screen-oriented behaviour of GUIs with terminal deployment and are now common in developer tools. Yet they lack a dedicated testing methodology. We survey 197 real-world TUI applications: only 12% of test code exercises the interface, and 45% of those tests never send input, checking a static frame instead. We turn these applications into a headless benchmark spanning ratatui/Rust, bubbletea/Go, textual/Python, and ink/TypeScript, packaging each as an instrumented Docker image. We record line and widget coverage where reliable, rendered terminal states, and crashes. Under equal wall-clock budgets, we compare four frontier LLMs with random exploration. No model dominates. Random is a strong time-budgeted baseline, but its crash advantage comes from higher throughput: per interaction, LLM guidance is more efficient and uniquely reaches input-gated faults. Automatically deriving launch inputs yields the largest practical gain, enabling applications that otherwise never start. Line coverage poorly predicts crash discovery, weakening it as a proxy for test effectiveness. Automated TUI testing is feasible but far from solved, and honest baselines matter more than model choice. We release the coverage tool tuicov at https://github.com/tui-testing/tuicov and the testing framework tuibot at https://github.com/tui-testing/tuibot.
• Abstract（参考訳）: Terminal User Interfaces (TUI) は、GUIのステートフルでスクリーン指向の動作とターミナルデプロイメントを結合し、現在は開発者ツールで一般的なものとなっている。 しかし、彼らは専用のテスト方法論を欠いている。 197の現実世界のTUIアプリケーションを調査します。テストコードのわずか12%がインターフェースを実行し、テストの45%が入力を送信せず、代わりに静的なフレームをチェックするのです。 これらのアプリケーションを、Ratatui/Rust、Buzztea/Go、textual/Python、ink/TypeScriptにまたがるヘッドレスベンチマークに変換し、それぞれを計測されたDockerイメージとしてパッケージングします。 信頼でき、レンダリングされた端末状態、クラッシュするラインとウィジェットのカバレッジを記録します。 壁面の予算が等しくなると、4つのフロンティアLSMとランダムな探索を比較する。 モデルが支配的ではない。 ランダムは強い時間予算のベースラインであるが、そのクラッシュの利点は高いスループットにある。 自動的な起動入力の導出は最大の実用的利益をもたらし、そうでなければ決して開始しないアプリケーションを可能にする。 ラインカバレッジはクラッシュの発見を予測しにくく、テストの有効性のプロキシとして弱めます。 自動TUIテストは実現可能だが、解決には程遠い。 カバレッジツールのtuicovはhttps://github.com/tui-testing/tuicovで、テストフレームワークのtuibotはhttps://github.com/tui-testing/tuibotでリリースしています。

関連論文リスト

• How Far Are We from Detecting Flaky Tests? On the Limits of Code-Based Detection [41.369102837712795]
  燃えるようなテストは同じコードバージョンでパスしてフェールし、テスト結果のシグナルを弱める。 コードベースのフレキネス検出器は強力なベンチマーク結果を報告しているが、実際の使用は限られている。 フレキネスはテストコードの静的な特性ではなく、テストが不安定かどうかを決定するのに必要な情報が欠けていることが多い、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-07-10T12:24:25Z)
• Covering Human Action Space for Computer Use: Data Synthesis and Benchmark [59.01879944842542]
  コンピュータ利用エージェント(CUA)は、GPT-5.4とClaudeによって説明されているように、画面上での作業を自動化する。 しかし、複雑な低周波相互作用に対する信頼性はまだ貧弱であり、ユーザの信頼を制限している。 複雑な相互作用におけるモデルの能力を評価するための新しいベンチマークCUActSpotを提案する。
  論文  参考訳（メタデータ） (2026-05-12T17:59:58Z)
• Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
  テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。 TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。 3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
  論文  参考訳（メタデータ） (2026-05-07T12:31:09Z)
• Improving Random Testing via LLM-powered UI Tarpit Escaping for Mobile Apps [5.901783684504153]
  LLMを用いたランダムGUIテストは、ランダムテスト中にUIタロットを緩和する新しいハイブリッドテスト手法である。 提案手法はUIの類似性を監視して,タルピートを識別し,LLMをクエリして,遭遇したタルピートをエスケープする有望なイベントを提案する。 HybridMonkeyとHybridDroidbotはすべてのベースラインを上回り、それぞれ54.8%と44.8%の平均カバレッジ改善を達成した。
  論文  参考訳（メタデータ） (2026-04-08T07:28:26Z)
• WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing [57.7131457251794]
  エンドツーエンドの自動Webテストを評価するベンチマークであるWebTestBenchを紹介します。 テストプロセスを2つのカスケードサブタスク、チェックリストの生成と欠陥検出に分解し、WebTesterを提案する。 以上の結果から,現在のコンピュータ利用エージェント能力と産業レベルの展開要求との間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-03-26T09:27:29Z)
• Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
  非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。 この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
  論文  参考訳（メタデータ） (2025-10-30T12:20:25Z)
• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)
• How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective [51.30005925128432]
  LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T18:29:24Z)
• Phi-Ground Tech Report: Advancing Perception in GUI Grounding [55.44475003199647]
  textbfPhi-Groundモデルファミリは、5つのグラウンドベンチマークで最先端のパフォーマンスを達成する。 textittextbf43.2 on ScreenSpot-pro と textittextbf27.2 on UI-Vision
  論文  参考訳（メタデータ） (2025-07-31T17:59:09Z)
• TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
  大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。 オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。 特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
  論文  参考訳（メタデータ） (2024-06-06T22:07:50Z)
• An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation [3.9762912548964864]
  本稿では,自動単体テスト生成における大規模言語モデルの有効性について,大規模な実証評価を行った。 これはJavaScript用のテスト生成ツールで、npmパッケージ内のすべてのAPI関数のユニットテストを自動的に生成します。 TestPilotの生成されたテストの92.8%は、既存のテストと50%以上の類似性を持っていない。
  論文  参考訳（メタデータ） (2023-02-13T17:13:41Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。