論文の概要: Eliciting Behaviors in Multi-Turn Conversations

• arxiv url: http://arxiv.org/abs/2512.23701v1
• Date: Mon, 29 Dec 2025 18:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.620938
• Title: Eliciting Behaviors in Multi-Turn Conversations
• Title（参考訳）: マルチスレッド会話における励振挙動
• Authors: Jing Huang, Shujian Zhang, Lun Wang, Andrew Hard, Rajiv Mathews, John Lambert,
• Abstract要約: マルチターン会話の文脈における行動誘発について検討する。 オンラインメソッドは、数千のクエリで平均45/19/77%の成功率を達成することができる。
• 参考スコア（独自算出の注目度）: 23.970463831999286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying specific and often complex behaviors from large language models (LLMs) in conversational settings is crucial for their evaluation. Recent work proposes novel techniques to find natural language prompts that induce specific behaviors from a target model, yet they are mainly studied in single-turn settings. In this work, we study behavior elicitation in the context of multi-turn conversations. We first offer an analytical framework that categorizes existing methods into three families based on their interactions with the target model: those that use only prior knowledge, those that use offline interactions, and those that learn from online interactions. We then introduce a generalized multi-turn formulation of the online method, unifying single-turn and multi-turn elicitation. We evaluate all three families of methods on automatically generating multi-turn test cases. We investigate the efficiency of these approaches by analyzing the trade-off between the query budget, i.e., the number of interactions with the target model, and the success rate, i.e., the discovery rate of behavior-eliciting inputs. We find that online methods can achieve an average success rate of 45/19/77% with just a few thousand queries over three tasks where static methods from existing multi-turn conversation benchmarks find few or even no failure cases. Our work highlights a novel application of behavior elicitation methods in multi-turn conversation evaluation and the need for the community to move towards dynamic benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)から特定の複雑な振る舞いを対話的設定で識別することが,その評価に不可欠である。 近年の研究では、ターゲットモデルから特定の振る舞いを誘導する自然言語プロンプトの発見手法が提案されているが、主にシングルターン設定で研究されている。 本研究では,マルチターン会話の文脈における行動誘発について検討する。 まず,既存の手法を対象モデルとのインタラクションに基づいて3つのファミリーに分類する分析フレームワークを提案する。 次に、オンライン手法の一般化されたマルチターン定式化を導入し、シングルターンとマルチターンの推論を統一する。 マルチターンテストケースを自動生成する3つの手法のすべてを評価する。 提案手法は,クエリ予算,すなわち対象モデルとのインタラクション数と成功率,すなわち,行動選択入力の発見率のトレードオフを分析することによって,これらの手法の効率性を検討する。 オンラインメソッドは,既存のマルチターン会話ベンチマークの静的メソッドがほとんどあるいは全く失敗しない3つのタスクに対して,わずか数千のクエリで,平均45/19/77%の成功率を達成できることがわかった。 本研究は,マルチターン会話評価における行動誘発手法の新たな応用と,動的ベンチマークに向けたコミュニティの必要性を強調した。

関連論文リスト

• UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations [71.79210031338464]
  会話における大規模言語モデルに対する高密度検索と応答生成の統一方法を示す。 目的の異なる共同微調整を行い、不整合リスクを低減するための2つのメカニズムを設計する。 5つの対話型検索データセットの評価は、我々の統合モデルがタスクを相互に改善し、既存のベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-09T17:02:40Z)
• PointArena: Probing Multimodal Grounding Through Language-Guided Pointing [79.80132157576978]
  ポインティングは、視覚的コンテキスト内で言語を接地するための基本的で直感的なメカニズムとして機能する。 多様な推論シナリオを対象とするマルチモーダル評価のための総合的なプラットフォームであるPointArenaを紹介した。
  論文  参考訳（メタデータ） (2025-05-15T06:04:42Z)
• Beyond Single-Turn: A Survey on Multi-Turn Interactions with Large Language Models [8.08979200534563]
  現実世界のアプリケーションは洗練されたマルチターンインタラクションを必要とする。 大規模言語モデル(LLM)の最近の進歩は、シングルターンタスクを扱う能力に革命をもたらした。
  論文  参考訳（メタデータ） (2025-04-07T04:00:08Z)
• Composable Interventions for Language Models [60.32695044723103]
  言語モデルのテストタイム介入は、事実の正確性を高め、有害な出力を軽減し、コストのかかる再トレーニングなしにモデルの効率を向上させる。 しかし、新しい手法の洪水にもかかわらず、様々な種類の介入が独立して発展している。 複数の介入が同じ言語モデルに与える影響を研究するためのフレームワークである構成可能な介入を導入する。
  論文  参考訳（メタデータ） (2024-07-09T01:17:44Z)
• Dialog Simulation with Realistic Variations for Training Goal-Oriented Conversational Systems [14.206866126142002]
  ゴール指向のダイアログシステムにより、ユーザーは映画に関する情報をリクエストしたり、チケットを予約したりといった特定の目標を達成することができる。 本稿では,注釈付きダイアログとダイアログスキーマから,注釈付きダイアログの大規模なコーパスを自動生成する手法を提案する。 ベースラインダイアログ生成手法と比較して,ホールドアウトテストセットの50%の相対精度を実現した。
  論文  参考訳（メタデータ） (2020-11-16T19:39:15Z)
• Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
  本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。 我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
  論文  参考訳（メタデータ） (2020-10-26T21:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。