論文の概要: Set-LLM: A Permutation-Invariant LLM

• arxiv url: http://arxiv.org/abs/2505.15433v1
• Date: Wed, 21 May 2025 12:14:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.623685
• Title: Set-LLM: A Permutation-Invariant LLM
• Title（参考訳）: Set-LLM: 置換不変LLM
• Authors: Beni Egressy, Jan Stühmer,
• Abstract要約: 本論文は,大規模言語モデル(LLM)の順序感度という,特定の脆弱性によって動機付けられている。 本研究では,事前学習型LLMに対する新しいアーキテクチャ適応であるSet-LLMを導入し,置換不変性を保証する混合集合文入力の処理を可能にする。
• 参考スコア（独自算出の注目度）: 2.9665130256021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large language models (LLMs) demonstrate impressive capabilities across numerous applications, their robustness remains a critical concern. This paper is motivated by a specific vulnerability: the order sensitivity of LLMs. This vulnerability manifests itself as the order bias observed when LLMs decide between possible options (for example, a preference for the first option) and the tendency of LLMs to provide different answers when options are reordered. The use cases for this scenario extend beyond the classical case of multiple-choice question answering to the use of LLMs as automated evaluators in AI pipelines, comparing output generated by different models. We introduce Set-LLM, a novel architectural adaptation for pretrained LLMs that enables the processing of mixed set-text inputs with permutation invariance guarantees. The adaptations involve a new attention mask and new positional encodings specifically designed for sets. We provide a theoretical proof of invariance and demonstrate through experiments that Set-LLM can be trained effectively, achieving comparable or improved performance and maintaining the runtime of the original model, while eliminating order sensitivity.
• Abstract（参考訳）: 大きな言語モデル(LLM)は多くのアプリケーションにまたがって印象的な機能を示しているが、その堅牢性は依然として重要な懸念点である。 本論文は,LSMの順序感度という,特定の脆弱性によって動機付けられている。 この脆弱性は、LLMが可能なオプション(例えば、最初のオプションの選好)と、オプションがリオーダーされたときに異なる回答を提供する傾向を決定する際に観察される順序バイアスとして現れている。 このシナリオのユースケースは、AIパイプラインにおける自動評価器としてLLMを使用することによって、さまざまなモデルによって生成された出力を比較することで、古典的なマルチチョイス質問のケースを越えている。 本研究では,事前学習型LLMに対する新しいアーキテクチャ適応であるSet-LLMを導入し,置換不変性を保証する混合集合文入力の処理を可能にする。 適応には、新しいアテンションマスクと、セット用に特別に設計された新しい位置エンコーディングが含まれる。 実験により,Set-LLMを効率よく訓練し,性能を同等あるいは改善し,元のモデルのランタイムを維持でき,オーダー感度を排除できることを示す。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing [3.090041654375235]
  本稿では, LLM選択過程を多武装バンディット問題として定式化する新しい枠組みを提案する。 提案手法は好み条件付き動的ルーティング機構を組み込んでおり、ユーザーは推論時に好みを指定できる。 提案手法は,LLMプラットフォーム間での精度とコスト効率の両立を実現している。
  論文  参考訳（メタデータ） (2025-02-04T22:09:43Z)
• In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting [33.89176174108559]
  大規模言語モデル(LLM)の文脈内学習は、いくつかの例で拡張された命令に基づいて予測を行う。 ICLの既存の例選択方法はスパースまたは高密度レトリバーを使用し、有効性能を導出する。 本稿では,言語モデルセレクタとLLMジェネレータから構成される実例選択(RLS)のためのポリシーベース強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-23T12:32:12Z)
• LAMPO: Large Language Models as Preference Machines for Few-shot Ordinal Classification [34.9210323553677]
  LAMPOは,Large Language Models (LLMs) を多クラス順序分類タスクに応用した新しいパラダイムである。 7つの公開データセットに関する大規模な実験は、多様なアプリケーションにわたるLAMPOの極めて競争力のあるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-08-06T15:55:05Z)
• Order-Independence Without Fine Tuning [18.020492646988746]
  本稿では,LLMの出力が指定されたサブシーケンスのセットに順序依存しないことを保証する手法であるSet-Based Promptingを提案する。 我々の入力が分布外であるにもかかわらず、期待される精度への影響は小さく、予測は、一様に選択された応答のシャッフルの順序を超える。
  論文  参考訳（メタデータ） (2024-06-04T16:09:13Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。