論文の概要: Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering

• arxiv url: http://arxiv.org/abs/2610.20085v1
• Date: Wed, 14 Oct 2026 12:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.137359
• Title: Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering
• Title（参考訳）: 音声-視覚的質問応答に基づくLlm推論を支援するテキストインタフェースの設計
• Abstract要約: テキストインタフェースの設計がマルチモーダル推論の迅速な最適化にどのように影響するかを検討する。 Qwen3-OmniとGeminiによる実験は、直接的プロンプト最適化がモデルに依存したゲインを提供することを示している。 本研究は,一様推論システムに即時最適化を効果的にするための重要な要素として,テキストインタフェース設計を強調した。
• 参考スコア（独自算出の注目度）: 20.31184600316778
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automatic prompt optimization (APO) has shown strong effectiveness for text-based LLMs and LLM systems, but its application to audio-visual understanding systems requires suitable textual interfaces through which multimodal reasoning can be exposed to text-based optimizers. We investigate how the design of textual interfaces affects prompt optimization for multimodal reasoning, on the audio-visual question answering task. We compare three interface designs, including a direct inference system consisting of a single omni-modal large language model (OmniLLM), a captioner-reasoner system, and an agentic architecture in which a primary agent orchestrates subagent OmniLLMs. Experiments with Qwen3-Omni and Gemini show that direct prompt optimization provides model-dependent gains; the captioner-reasoner system and the agentic system expose more interpretable optimization interfaces but are harder to optimize, where error analysis of cases affected by optimization is conducted. Our study highlights textual interface design as an important factor in making prompt optimization effective for omni-modal reasoning systems. Our implementation details are specified in GitHub repo.
• Abstract（参考訳）: 自動プロンプト最適化(APO)は、テキストベースのLLMやLLMシステムに対して強力な効果を示しているが、音声視覚理解システムには、テキストベースのオプティマイザにマルチモーダル推論を公開できる適切なテキストインタフェースが必要である。 音声・視覚的質問応答タスクにおいて,テキストインタフェースの設計がマルチモーダル推論の迅速な最適化にどう影響するかを検討する。 我々は,単一オムニモーダル大言語モデル (OmniLLM) とキャプタ・リアソナー・システム,およびプライマリエージェントがサブエージェントであるOmniLLMをオーケストレーションするエージェントアーキテクチャを含む3つのインタフェース設計を比較した。 Qwen3-Omni と Gemini の実験では、直接的プロンプト最適化はモデルに依存したゲインを提供することが示された。 本研究は,一様推論システムに即時最適化を効果的にするための重要な要素として,テキストインタフェース設計を強調した。 実装の詳細はGitHubリポジトリに記載されています。

関連論文リスト

• Optimizing LLM Prompt Engineering with DSPy Based Declarative Learning [0.0]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて、高いパフォーマンスを示している。 それらの効果は、素早い設計、構造、組込み推論に大きく依存している。 本稿では,DSPyに基づく宣言型学習の体系的研究を行い,迅速な最適化を提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:17:57Z)
• Position: Vector Prompt Interfaces Should Be Exposed to Enable Customization of Large Language Models [79.63399445098759]
  テキストのみのプロンプトは、スケーラブルで安定的で推論のみのカスタマイズに適した制御インターフェースを構成していない、と我々は主張する。 標準ブラックボックス脅威モデルにおいて,ベクトルプロンプトの露出がモデル漏洩リスクを根本的に増大させる必要はない理由を論じる。
  論文  参考訳（メタデータ） (2026-03-04T17:08:47Z)
• Test-Time Computing for Referring Multimodal Large Language Models [143.49848714354698]
  そこで我々は,新しいテスト時間適応フレームワークである ControlMLLM++ を提案する。 学習可能な視覚的プロンプトを凍ったマルチモーダルな大言語モデルに注入する。
  論文  参考訳（メタデータ） (2026-02-23T04:42:10Z)
• Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization [13.8868879878572]
  構造化最適化アプローチでは、改良されたプロンプトを開発するには、自動または半自動の手順が必要である。 現在のプロンプト最適化手法は、しばしばプロンプトドリフトを誘導し、新しいプロンプトが前の障害を修正するが、以前成功したタスクのパフォーマンスを損なう。 本研究では,(1)学習データにおける誤りパターンをターゲットとした動的帰属機構,(2)機能的プロンプトセグメントを編集するための意味単位最適化,(3)エンドツーエンドのLSMとLM-MLLMの両方をサポートするマルチモーダル・フレンドリなプロンプト・プロンプト・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-06T03:34:17Z)
• Omni-AutoThink: Adaptive Multimodal Reasoning via Reinforcement Learning [57.96134674544638]
  本稿では,タスクの難易度に応じてモデルの推論深度を動的に調整する適応推論フレームワークを提案する。 本研究の枠組みは,(1)大規模推論データを用いた基本推論能力を備えた適応監視ファインチューニング段階,(2)タスク複雑性と報酬フィードバックに基づく推論行動の最適化を行う適応強化学習段階の2段階からなる。
  論文  参考訳（メタデータ） (2025-12-03T13:33:28Z)
• MOPrompt: Multi-objective Semantic Evolution for Prompt Optimization [0.0699049312989311]
  MOPromptは、正確性とコンテキストサイズ(トークンで測定される)の両方のプロンプトを同時に最適化するために設計された、新しいフレームワークである。 ポルトガルの感情分析課題であるMOPromptについて, Gemma-2BとSabiazinho-3を評価モデルとして評価した。
  論文  参考訳（メタデータ） (2025-08-03T01:50:43Z)
• Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
  本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。 第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。 第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
  論文  参考訳（メタデータ） (2025-07-14T14:34:15Z)
• MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization [30.748085697067154]
  ソクラティックガイダンス(MARS)を取り入れたマルチエージェントフレームワークを提案する。 MARSは7つのエージェントから構成され、それぞれ異なる機能を持ち、Plannerを自律的に使用して最適化パスを設計する。 提案手法の有効性を検証するため,様々なデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-21T06:19:55Z)
• Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies [41.21314691388456]
  対話やコラボレーションを行う複数のエージェントとして使用される大規模な言語モデルは、複雑なタスクの解決に優れています。 マルチエージェントシステム(MAS)のプロンプトやトポロジーの設計は本質的に複雑である。 複雑なMAS設計空間を効率的に活用するMAS最適化フレームワークであるMulti-Agent System Search (MASS)を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:56:44Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。