論文の概要: Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning

• arxiv url: http://arxiv.org/abs/2502.08972v2
• Date: Thu, 27 Mar 2025 07:21:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:50:22.393129
• Title: Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning
• Title（参考訳）: 試行錯誤型インコンテキスト学習による調整自由な個人化アライメント
• Authors: Hyundong Cho, Karishma Sharma, Nicolaas Jedema, Leonardo F. R. Ribeiro, Alessandro Moschitti, Ravi Krishnan, Jonathan May,
• Abstract要約: テキスト生成タスクのための言語モデルをパーソナライズするチューニング不要な手法であるITCL(Trial-Error-Explain In-Context Learning)を提案する。 ITCLは、試行錯誤説明プロセスを通じて、コンテキスト内学習プロンプトを反復的に拡張し、モデル生成陰性サンプルと説明を追加する。 語彙的および定性的な分析は、負のサンプルと説明によって、言語モデルがより効果的にスタイリスティックな文脈を学習できることを示している。
• 参考スコア（独自算出の注目度）: 74.56097953187994
• License:
• Abstract: Language models are aligned to the collective voice of many, resulting in generic outputs that do not align with specific users' styles. In this work, we present Trial-Error-Explain In-Context Learning} (ITCL), a tuning-free method that personalizes language models for text generation tasks with fewer than 10 examples per user. TICL iteratively expands an in-context learning prompt via a trial-error-explain process, adding model-generated negative samples and explanations that provide fine-grained guidance towards a specific user's style. TICL achieves favorable win rates on pairwise comparisons with LLM-as-a-judge up to 91.5% against the previous state-of-the-art and outperforms competitive tuning-free baselines for personalized alignment tasks of writing emails, essays and news articles. Both lexical and qualitative analyses show that the negative samples and explanations enable language models to learn stylistic context more effectively and overcome the bias towards structural and formal phrases observed in their zero-shot outputs. By front-loading inference compute to create a user-specific in-context learning prompt that does not require extra generation steps at test time, TICL presents a novel yet simple approach for personalized alignment.
• Abstract（参考訳）: 言語モデルは、多くの人の集合的な声に一致しており、結果として特定のユーザのスタイルと一致しない一般的な出力をもたらす。 本研究では,テキスト生成タスクの言語モデルを1ユーザあたり10例未満でパーソナライズする,チューニング不要なTrial-Error-Explain In-Context Learning} (ITCL)を提案する。 TICLは、試行錯誤説明プロセスを通じてコンテキスト内学習のプロンプトを反復的に拡張し、モデル生成の否定的なサンプルと説明を加え、特定のユーザのスタイルに対してきめ細かいガイダンスを提供する。 TICLはLLM-as-a-judgeとのペア比較で91.5%の勝利率を獲得し、メール、エッセイ、ニュース記事のパーソナライズされたアライメントタスクのための競争的なチューニングなしベースラインを上回っている。 語彙的および定性的な分析は、負のサンプルと説明により、言語モデルがより効果的にスタイリスティックな文脈を学習でき、ゼロショット出力で観察される構造的および形式的フレーズに対するバイアスを克服できることを示している。 推論計算をフロントロードして、テスト時に余分な生成ステップを必要としない、ユーザ固有のコンテキスト内学習プロンプトを作成することで、TICLはパーソナライズされたアライメントのための、新しくてシンプルなアプローチを提示する。

関連論文リスト

• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Discourse-Aware In-Context Learning for Temporal Expression Normalization [7.621550020607368]
  本研究では、TE正規化のためのプロプライエタリおよびオープンソースの大規模言語モデル(LLM)の実現可能性について検討する。 ウィンドウベースのプロンプト設計アプローチを用いることで、モデルを訓練することなくLLM知識を活用しながら、文間でTE正規化を行うことができる。 この課題のために設計されたモデルに対する競争結果を示す実験を行った。
  論文  参考訳（メタデータ） (2024-04-11T14:13:44Z)
• In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model [13.983810804606264]
  In-Context Prompt Learning (InCPL) を提案する。 InCPLは、コンテキスト情報としてラベル付き例がほとんどない新しいテストサンプルを関連付けている。 テストサンプルに適した視覚的プロンプトを最適化するために、コンテキスト対応の教師なし損失を導入する。
  論文  参考訳（メタデータ） (2024-03-10T08:15:51Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
  ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。 自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。 我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-19T05:47:33Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。