論文の概要: Idiosyncrasies in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.12150v1
• Date: Mon, 17 Feb 2025 18:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:08.952647
• Title: Idiosyncrasies in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける慣用性
• Authors: Mingjie Sun, Yida Yin, Zhiqiu Xu, J. Zico Kolter, Zhuang Liu,
• Abstract要約: 大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
• 参考スコア（独自算出の注目度）: 54.26923012617675
• License:
• Abstract: In this work, we unveil and study idiosyncrasies in Large Language Models (LLMs) -- unique patterns in their outputs that can be used to distinguish the models. To do so, we consider a simple classification task: given a particular text output, the objective is to predict the source LLM that generates the text. We evaluate this synthetic task across various groups of LLMs and find that simply fine-tuning existing text embedding models on LLM-generated texts yields excellent classification accuracy. Notably, we achieve 97.1% accuracy on held-out validation data in the five-way classification problem involving ChatGPT, Claude, Grok, Gemini, and DeepSeek. Our further investigation reveals that these idiosyncrasies are rooted in word-level distributions. These patterns persist even when the texts are rewritten, translated, or summarized by an external LLM, suggesting that they are also encoded in the semantic content. Additionally, we leverage LLM as judges to generate detailed, open-ended descriptions of each model's idiosyncrasies. Finally, we discuss the broader implications of our findings, particularly for training on synthetic data and inferring model similarity. Code is available at https://github.com/locuslab/llm-idiosyncrasies.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における慣用的同期(idiosyncrasies) について検討する。 そこで本研究では,特定のテキスト出力が与えられた場合,テキストを生成するソースLLMを予測することを目的とした,単純な分類タスクについて検討する。 この合成タスクをLLMの様々なグループで評価し、LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整するだけで、優れた分類精度が得られることを示した。 特に、ChatGPT、Claude、Grok、Gemini、DeepSeekを含む5方向分類問題において、ホールドアウト検証データの97.1%の精度を達成した。 さらなる調査により,これらの慣用句は単語レベルの分布に根ざしていることが明らかとなった。 これらのパターンは、テキストが外部のLCMによって書き直されたり、翻訳されたり、要約されたりしても継続し、セマンティックコンテンツにもエンコードされていることを示唆している。 さらに、LLMを審査員として利用し、各モデルの慣用句の詳細でオープンな記述を生成する。 最後に,実験結果のより広範な意味,特に合成データのトレーニングとモデル類似性の推論について論じる。 コードはhttps://github.com/locuslab/llm-idiosyncrasies.comで入手できる。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Robustness of LLMs to Perturbations in Text [2.0670689746336]
  大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。 以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-12T04:50:17Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation [0.0]
  データ・トゥ・テキスト(D2T)生成タスクにおけるオープン・大規模言語モデル(LLM)の挙動を解析する。 オープン LLM は,Quintd で収集した共通フォーマットのデータから,ゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2024-01-18T18:15:46Z)
• Token Prediction as Implicit Classification to Identify LLM-Generated Text [37.89852204279844]
  本稿では,テキスト生成に関わる大きな言語モデル (LLM) を識別するための新しいアプローチを提案する。 ベースLMに新たな分類層を追加する代わりに、分類タスクを次の注意すべき予測タスクとして再設定する。 実験のバックボーンとしてText-to-Text Transfer Transformer (T5) モデルを用いる。
  論文  参考訳（メタデータ） (2023-11-15T06:33:52Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。