論文の概要: What LLMs Think When You Don't Tell Them What to Think About?

• arxiv url: http://arxiv.org/abs/2602.01689v1
• Date: Mon, 02 Feb 2026 06:06:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.943018
• Title: What LLMs Think When You Don't Tell Them What to Think About?
• Title（参考訳）: LLMは、どう考えるべきかを教えてくれない時はどう思うか?
• Authors: Yongchan Kwon, James Zou,
• Abstract要約: 最小限のトピックニュートラル入力から生成する大規模言語モデルについて検討する。 驚くべきことに、各モデルファミリーは、強く、体系的なトピックの好みを示す。 ほぼ制約のない世代は、しばしば反復句に縮退する。
• 参考スコア（独自算出の注目度）: 39.0820458436379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Characterizing the behavior of large language models (LLMs) across diverse settings is critical for reliable monitoring and AI safety. However, most existing analyses rely on topic- or task-specific prompts, which can substantially limit what can be observed. In this work, we study what LLMs generate from minimal, topic-neutral inputs and probe their near-unconstrained generative behavior. Despite the absence of explicit topics, model outputs cover a broad semantic space, and surprisingly, each model family exhibits strong and systematic topical preferences. GPT-OSS predominantly generates programming (27.1%) and mathematical content (24.6%), whereas Llama most frequently generates literary content (9.1%). DeepSeek often generates religious content, while Qwen frequently generates multiple-choice questions. Beyond topical preferences, we also observe differences in content specialization and depth: GPT-OSS often generates more technically advanced content (e.g., dynamic programming) compared with other models (e.g., basic Python). Furthermore, we find that the near-unconstrained generation often degenerates into repetitive phrases, revealing interesting behaviors unique to each model family. For instance, degenerate outputs from Llama include multiple URLs pointing to personal Facebook and Instagram accounts. We release the complete dataset of 256,000 samples from 16 LLMs, along with a reproducible codebase.
• Abstract（参考訳）: 大規模言語モデル(LLM)の振る舞いをさまざまな設定で特徴付けることは、信頼性の高い監視とAIの安全性にとって重要である。 しかし、既存の分析のほとんどはトピックやタスク固有のプロンプトに依存しており、観察できることを著しく制限することができる。 本研究では, LLMが最小限のトピックニュートラル入力から生成するものについて検討し, ほぼ制約のない生成挙動を探索する。 明確なトピックがないにもかかわらず、モデル出力は広い意味空間をカバーしており、驚くべきことに、各モデルファミリーは強い、系統的なトピックの好みを示す。 GPT-OSSは主にプログラミング (27.1%) と数学的内容 (24.6%) を生成するが、ラマは文学的内容 (9.1%) を多く生成している。 DeepSeekは宗教的なコンテンツをしばしば生成し、Qwenは複数の質問を頻繁に生成する。 GPT-OSSは、他のモデル(例えば、ベーシックPython)と比較して、より技術的に高度なコンテンツ(例えば、動的プログラミング)を生成することが多い。 さらに、非制約に近い世代は、しばしば反復句に縮退し、各モデルファミリ固有の興味深い振る舞いを明らかにする。 例えば、Llamaからの退行アウトプットには、FacebookとInstagramの個人アカウントを示す複数のURLが含まれている。 16のLLMから256,000のサンプルと再現可能なコードベースの完全なデータセットをリリースしました。

関連論文リスト

• Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images [59.431316122240524]
  我々は,Multimodal LLMを用いて,数千万枚の画像からなる大規模データベースを解析するシステムを提案する。 我々は,一定期間にわたって都市を横断する頻繁な共起的変化(トリエント)を捉えることを目的としている。 ベースラインをはるかに上回り、大都市で撮影された画像から興味深い傾向を見出すことができる。
  論文  参考訳（メタデータ） (2025-04-11T17:55:45Z)
• Dynamically Allocated Interval-Based Generative Linguistic Steganography with Roulette Wheel [10.72286166021398]
  既存の言語ステガノグラフィースキームは、しばしば候補プール内のトークンの条件付き確率(CP)を見落としている。 本稿では, DAIRstegaと呼ばれる, 割り当てられた間隔に基づくスキームを提案する。
  論文  参考訳（メタデータ） (2024-01-28T13:21:44Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [127.97467912117652]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示した。 しかし、単一の試みで正しいソリューションを生成することは依然として課題である。 本稿では,MPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T14:23:26Z)
• CALM : A Multi-task Benchmark for Comprehensive Assessment of Language Model Bias [7.28980829208179]
  言語モデル(CALM)の包括的評価は、普遍的に関連する2種類の社会デマログラフバイアス、性別、人種の頑健な測定である。 実験により,CALMのバイアススコアは,テンプレートの摂動に対する従来のバイアス測定よりも頑健で,はるかに感度が低いことが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。