論文の概要: One Prompt Does Not Fit All: Self-Meta-Evolve for Personalized Information Extraction
- arxiv url: http://arxiv.org/abs/2609.21626v1
- Date: Fri, 18 Sep 2026 11:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.030556
- Title: One Prompt Does Not Fit All: Self-Meta-Evolve for Personalized Information Extraction
- Title（参考訳）: 1つのプロンプトがすべてに合わない:パーソナライズされた情報抽出のためのセルフMeta-Evolve
- Abstract要約: Self-Meta-Evolveは階層的なフレームワークで、各ユーザに専用のプロンプトを保持し、デュアルループプロセスを通じて継続的に改善する。
ベンチマークでは、Self-Meta-Evolveは74.58%の成功率を記録し、13.56絶対点で最強のプロンプト最適化ベースラインを上回った。
20人の現実的な専門家による二重盲検研究は、我々のフレームワークがペアワイズ比較の71%で静的なベースラインに勝つことを裏付けている。
- 参考スコア（独自算出の注目度）: 40.983949983653865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed for enterprise information extraction (IE), where the same document must be reorganized differently for each user. Existing prompt optimization methods, however, rely on a single prompt optimized against a global objective, which is misaligned with the inherent user heterogeneity of real workplaces. We formulate enterprise IE as per-user prompt adaptation under interaction feedback and propose Self-Meta-Evolve, a hierarchical framework that maintains a dedicated prompt for each user and continuously refines it through a dual-loop process: an inner loop that edits structured prompts based on persona-conditioned feedback, and an outer loop that evolves the meta-prompt itself by distilling successful editing patterns. To enable scalable training and evaluation, we release a persona-driven IE benchmark of 292 simulated enterprise users, paired with a reproducible persona-generation pipeline grounded in O*NET occupational taxonomies. On this benchmark, Self-Meta-Evolve achieves a 74.58% success rate, outperforming the strongest prompt-optimization baseline by 13.56 absolute points, and reaches 52.54\% within only two iterations. A double-blind human study with twenty real professionals further confirms that prompts adapted by our framework win against static baselines in 71% of pairwise comparisons.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、エンタープライズ情報抽出(IE)のためにますます多くデプロイされ、各ユーザーごとに同じ文書を別々に再編成する必要がある。
しかし、既存のプロンプト最適化手法では、グローバルな目的に対して最適化された1つのプロンプトに依存しており、実際の職場の固有のユーザ不均一性と不一致である。
企業IEをユーザ毎のプロンプト適応として定式化し,ユーザ毎のプロンプトを専用のプロンプトとして保持する階層的なフレームワークであるSelf-Meta-Evolveを,ペルソナ条件のフィードバックに基づいて構造化プロンプトを編集する内部ループ,そしてメタプロンプト自体を蒸留して進化させる外部ループを提案する。
スケーラブルなトレーニングと評価を実現するため,O*NETの職業分類に基づく再現可能なペルソナ世代パイプラインと組み合わせて,292名の企業ユーザを対象としたペルソナ駆動IEベンチマークを作成した。
このベンチマークでは、Self-Meta-Evolveは74.58%の成功率を記録し、最強のプロンプト最適化ベースラインを13.56絶対点で上回り、2回のイテレーションで52.54\%に達する。
さらに、20人の真の専門家による二重盲検人間による研究は、我々のフレームワークがペアワイズ比較の71%で静的なベースラインに勝つことを裏付けている。
関連論文リスト
- Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。
エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。
エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
論文 参考訳（メタデータ） (2026-09-03T17:33:18Z) - PersonaForge: Realistic Multi-Turn User Simulation for Agentic Systems [53.65117408512214]
我々は,現実的なマルチターンユーザ-エージェントインタラクションを合成するユーザシミュレーションフレームワークであるtextbfPersonaForgeを紹介した。
PersonaForgeを使って、6.3Kレコードのトレーニングデータセットと、手動で注釈付き138タスクベンチマークである textbfPersonaForge-Benchを構築します。
実験の結果、PersonaForgeのトレーニングでは、合成スコアが+4.1%向上し、4次元すべてで利得が得られた。
論文 参考訳（メタデータ） (2026-08-28T14:33:19Z) - MIDAS: Multi-LLM Iterative Data-Adaptive Summarization [0.0]
実世界の企業要約は、ドメイン固有のガイドライン、アウトプットフォーマット、そして組織的な慣習に厳格に準拠することを要求する。
既存の自動プロンプト最適化手法は、Large Language Model (LLM)による批判駆動の洗練を通じて、この負担を軽減する。
データ駆動型パターン学習とユースケース固有のパーソナライズにより、このパラダイムを拡張するマルチLLMフレームワークであるMIDAS(Multi-LLM Iterative Data-Adaptive Summarization)を提案する。
論文 参考訳（メタデータ） (2026-08-05T00:33:39Z) - Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement [4.027292457517535]
暗黙のインタラクションストリームから動的ユーザペルソナを直接学習するフレームワークであるIRISを提案する。
IRISは安定したペルソナを生成し、メモリのみのアプローチの限界を明らかにしながら個々のユーザーを区別する。
我々は、匿名化されたReddit r/AmItheAsshole (AITA)データに基づいてIRISを検証する。
論文 参考訳（メタデータ） (2026-07-29T04:56:14Z) - One Model, Multiple Goals: Adaptive Multi-Objective Learning for E-commerce Dialogue Systems [33.515535808117775]
適応型多目的強化学習フレームワークMOREを提案する。
MOREは推論精度と言語自然性を共同で最適化する。
ByteDanceとMultiWOZ 2.2ベンチマークの2つの実世界の対話システム上でMOREを評価する。
論文 参考訳（メタデータ） (2026-06-08T10:01:07Z) - Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。
静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。
実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文 参考訳（メタデータ） (2026-05-29T17:00:55Z) - VibeSearchBench: Benchmarking Long-horizon Proactive Search in the Wild [0.0]
LLMベースのエージェントは、検索ベンチマークでよく評価されるが、実際のユーザは常に満足できない結果を見つける。
このギャップは、既存のベンチマークが過剰に指定されたクエリ、シングルターンインタラクション、固定スキーマ評価に依存しているためである。
我々は、このパラダイムをVibeSearchと呼び、20ドメインにわたる200のバイリンガル(中国語と英語)タスクを手作業でキュレートしたベンチマークであるVibeSearchBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-27T03:06:18Z) - HippoCamp: Benchmarking Contextual Agents on Personal Computers [71.97629614361549]
HippoCampは、マルチモーダルファイル管理におけるエージェントの能力を評価するために設計された新しいベンチマークである。
本ベンチマークでは,2K以上の実世界のファイルにまたがる42.4GBのデータを含む,多種多様なモダリティにまたがる実世界のプロファイルに対して,デバイススケールのファイルシステムをインスタンス化する。
論文 参考訳（メタデータ） (2026-04-01T17:58:33Z) - CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis [3.8837035821549475]
textbfCentaurTA Studioは、オープンコーディングとテーマ構築において、自己改善されたヒューマンエージェントコラボレーションのためのWebベースのシステムである。
CentaurTA は Open Coding と Theme Construction で最強のパフォーマンスを達成し、92.12% の精度に達した。
論文 参考訳（メタデータ） (2026-03-18T02:01:28Z) - Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。
静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。
我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
論文 参考訳（メタデータ） (2025-09-30T18:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。