論文の概要: Testing the Depth of ChatGPT's Comprehension via Cross-Modal Tasks Based on ASCII-Art: GPT3.5's Abilities in Regard to Recognizing and Generating ASCII-Art Are Not Totally Lacking

• arxiv url: http://arxiv.org/abs/2307.16806v2
• Date: Tue, 6 Feb 2024 05:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 20:40:12.260204
• Title: Testing the Depth of ChatGPT's Comprehension via Cross-Modal Tasks Based on ASCII-Art: GPT3.5's Abilities in Regard to Recognizing and Generating ASCII-Art Are Not Totally Lacking
• Title（参考訳）: ASCII-Artに基づく横断的タスクによるChatGPTの理解度:ASCII-Artの認識と生成に関するGPT3.5の能力は、完全には欠落していない
• Authors: David Bayani
• Abstract要約: ChatGPTとその基盤モデルであるGPT3.5は、能力とアクセシビリティの強力な混合により、大きな注目を集めている。 我々は, GPT3.5の視覚的タスクに対する適性について検討した。
• 参考スコア（独自算出の注目度）: 1.3416250383686867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the eight months since its release, ChatGPT and its underlying model, GPT3.5, have garnered massive attention, due to their potent mix of capability and accessibility. While a niche-industry of papers have emerged examining the scope of capabilities these models possess, the information fed to and extracted from these networks has been either natural language text or stylized, code-like language. Drawing inspiration from the prowess we expect a truly human-level intelligent agent to have across multiple signal modalities, in this work we examine GPT3.5's aptitude for visual tasks, where the inputs feature content provided as ASCII-art without overt distillation into a lingual summary. We conduct experiments analyzing the model's performance on image recognition tasks after various transforms typical in visual settings, trials investigating knowledge of image parts, and tasks covering image generation.
• Abstract（参考訳）: リリースから8ヶ月にわたって、ChatGPTとその基盤となるモデルであるGPT3.5は、能力とアクセシビリティの強力な混在により、大きな注目を集めている。 これらのモデルが持つ能力の範囲を調査した、ニッチな論文が登場しているが、これらのネットワークから供給され抽出される情報は、自然言語テキストか、スタイリッシュなコードライクな言語である。 本研究は,真の人間レベルの知的エージェントが複数の信号モダリティにまたがる能力から着想を得たものである。本研究では,ARCIIアートとして提供される特徴内容の入力を,言語的な要約に含めることなく,GPT3.5の視覚的タスクに対する適性について検討する。 視覚設定に典型的な様々な変換後の画像認識タスクにおけるモデルの性能分析,画像部品の知識の検証,画像生成に関する課題について実験を行った。

関連論文リスト

• Visual Analytics for Efficient Image Exploration and User-Guided Image Captioning [35.47078178526536]
  事前訓練された大規模言語画像モデルの最近の進歩は、視覚的理解の新しい時代を後押ししている。 本稿では,視覚分析の領域でよく知られた2つの問題に取り組み,(1)大規模画像データセットの効率的な探索と潜在的なデータバイアスの同定,(2)画像キャプションの評価と生成過程のステアリングを行う。
  論文  参考訳（メタデータ） (2023-11-02T06:21:35Z)
• InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
  我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。 InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
  論文  参考訳（メタデータ） (2023-09-30T14:26:43Z)
• Multimodal Analysis Of Google Bard And GPT-Vision: Experiments In Visual Reasoning [0.0]
  我々は、Google BardとGPT-Visionを、"Visual situational Reasoning"や"Next Scene Prediction"といったカテゴリにまたがる64の視覚タスクに適用する。 本研究の結果は,視覚言語モデルの限界を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-08-17T03:14:00Z)
• Vision-Language Models in Remote Sensing: Current Progress and Future Trends [19.179306993193023]
  視覚言語モデルは、画像とその関連するテキスト記述の推論を可能にし、基礎となるセマンティクスのより深い理解を可能にする。 視覚言語モデルは、画像内のオブジェクトを認識するだけでなく、それら間の関係を推測したり、画像の自然言語記述を生成することもできる。 本稿では,リモートセンシングにおける視覚言語モデルの研究を包括的にレビューする。
  論文  参考訳（メタデータ） (2023-05-09T19:17:07Z)
• Multi-Modal Masked Autoencoders for Medical Vision-and-Language Pre-Training [62.215025958347105]
  マルチモーダルマスク付きオートエンコーダを用いた自己教師型学習パラダイムを提案する。 我々は、ランダムにマスキングされた画像やテキストから欠落したピクセルやトークンを再構成することで、クロスモーダルなドメイン知識を学習する。
  論文  参考訳（メタデータ） (2022-09-15T07:26:43Z)
• Toward Understanding WordArt: Corner-Guided Transformer for Scene Text Recognition [63.6608759501803]
  我々は芸術的テキストを3つのレベルで認識することを提案する。 コーナーポイントは、文字内の局所的な特徴の抽出を誘導するために用いられる。 第二に、文字レベルの特徴をモデル化するために文字の対照的な損失を設計し、文字分類のための特徴表現を改善する。 第3に,Transformerを用いて画像レベルのグローバルな特徴を学習し,コーナーポイントのグローバルな関係をモデル化する。
  論文  参考訳（メタデータ） (2022-07-31T14:11:05Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• From Show to Tell: A Survey on Image Captioning [48.98681267347662]
  視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。 画像キャプションの研究はまだ結論に達していない。 本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
  論文  参考訳（メタデータ） (2021-07-14T18:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。