論文の概要: Talk Less, Interact Better: Evaluating In-context Conversational Adaptation in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2408.01417v1
• Date: Fri, 2 Aug 2024 17:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 12:38:29.974513
• Title: Talk Less, Interact Better: Evaluating In-context Conversational Adaptation in Multimodal LLMs
• Title（参考訳）: 会話の低さ, 対話性の向上: マルチモーダルLLMにおける文脈内会話適応の評価
• Authors: Yilun Hua, Yoav Artzi,
• Abstract要約: 人間は、アドホックな慣習を適応し形成することによって、対話の進行に伴って、より効率的な言語を自然に利用する。 マルチモーダル・大規模言語モデル (MLLM) が通信効率を向上するかどうかについては未解明である。 本稿では,MLLMにおける文脈内行動としての会話適応を自動評価するフレームワークICCAを紹介する。
• 参考スコア（独自算出の注目度）: 14.997971970162743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans spontaneously use increasingly efficient language as interactions progress, by adapting and forming ad-hoc conventions. This phenomenon has been studied extensively using reference games, showing properties of human language that go beyond relaying intents. It remains unexplored whether multimodal large language models (MLLMs) similarly increase communication efficiency during interactions, and what mechanisms they may adopt for this purpose. We introduce ICCA, an automated framework to evaluate such conversational adaptation as an in-context behavior in MLLMs. We evaluate several state-of-the-art MLLMs, and observe that while they may understand the increasingly efficient language of their interlocutor, they do not spontaneously make their own language more efficient over time. This latter ability can only be elicited in some models (e.g., GPT-4) with heavy-handed prompting. This shows that this property of linguistic interaction does not arise from current training regimes, even though it is a common hallmark of human language. ICCA is available at https://github.com/lil-lab/ICCA.
• Abstract（参考訳）: 人間は、アドホックな慣習を適応し形成することによって、対話の進行に伴って、より効率的な言語を自然に利用する。 この現象は参照ゲームを用いて広く研究され、リレー意図を超えた人間の言語の性質を示している。 マルチモーダル・大規模言語モデル(MLLM)が通信の効率を向上するかどうか、またその目的のためにどのようなメカニズムを採用するのかは、まだ解明されていない。 本稿では,MLLMにおける文脈内行動としての会話適応を自動評価するフレームワークICCAを紹介する。 我々は、最先端のMLLMを評価し、それらのインターロケータの効率的な言語がますます理解されるかもしれないが、時間とともに自国の言語をより効率的にするわけではないことを観察する。 この後者の能力は、一部のモデル(例えば、GPT-4)でのみ引き出せる。 これは、この言語相互作用の性質が、現在の訓練体制から生じるものではないことを示している。 ICCAはhttps://github.com/lil-lab/ICCAで入手できる。

関連論文リスト

• NatLan: Native Language Prompting Facilitates Knowledge Elicitation Through Language Trigger Provision and Domain Trigger Retention [4.051397588437236]
  我々はMLLMの主流言語を人間の母国語に類似させ、2つの認知的特徴を用いて翻訳・翻訳・解答法を解釈する。 我々は、マルチMLLMコラボレーション戦略を採用し、新たなロール強化ドメイン固有MLLMを導入するNative Language Prompting(NatLan)を提案する。
  論文  参考訳（メタデータ） (2024-08-07T04:49:38Z)
• Language Model Can Listen While Speaking [17.584201137311286]
  聴取時言語モデル (LSLM) は、聴取チャネルと発声チャネルの両方を備えたエンドツーエンドシステムである。 本研究は,既存のシステムに最小限の影響を伴って,重複通信を実現するLSLMの能力を強調した。
  論文  参考訳（メタデータ） (2024-08-05T16:47:22Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Think Before You Speak: Cultivating Communication Skills of Large Language Models via Inner Monologue [73.69510478736483]
  大規模言語モデル(LLM)は、流動的で一貫性があり多様な応答を生成する。 しかし、それらは重要な能力、コミュニケーションスキルを欠いている。 本稿は,内的モノローグによるLLMのコミュニケーション能力向上を目的としている。 実験の結果,提案したCSIM戦略はバックボーンモデルを改善し,ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-11-13T16:19:42Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
  本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:12:44Z)
• Multi-lingual agents through multi-headed neural networks [0.0]
  本稿では,協調型マルチエージェント強化学習について述べる。 この文脈では、複数の異なる非互換言語が出現する。 我々は、連続学習の文献からインスピレーションを得て、エージェントを多言語化できるように、エージェントにマルチヘッドニューラルネットワークを装備する。
  論文  参考訳（メタデータ） (2021-11-22T11:39:42Z)
• Self-play for Data Efficient Language Acquisition [20.86261546611472]
  学習エージェントにおける言語習得の効率と品質を向上させるために,コミュニケーションの対称性を利用する。 直接監督の代わりにセルフプレイを使用することで、エージェントが役割間で知識を伝達できることが示される。
  論文  参考訳（メタデータ） (2020-10-10T02:09:19Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。