論文の概要: Thinking Outside the (Gray) Box: A Context-Based Score for Assessing Value and Originality in Neural Text Generation

• arxiv url: http://arxiv.org/abs/2502.13207v1
• Date: Tue, 18 Feb 2025 19:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 20:12:09.748389
• Title: Thinking Outside the (Gray) Box: A Context-Based Score for Assessing Value and Originality in Neural Text Generation
• Title（参考訳）: Grayボックスの外で考える:ニューラルテキスト生成における価値とオリジン性を評価するコンテキストベーススコア
• Authors: Giorgio Franceschelli, Mirco Musolesi,
• Abstract要約: 価値と独創性を定量的に評価する文脈に基づくスコアを提案する。 このスコアは、学習された分布からのばらつきを育みながら、要求に対する正確さと固執を動機付ける。 我々は、詩生成と数学問題解決の実験を通じて、我々の戦略を検証し、それが生成した解の価値と独創性を高めることを実証する。
• 参考スコア（独自算出の注目度）: 2.4555276449137042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the increasing use of large language models for creative tasks, their outputs often lack diversity. Common solutions, such as sampling at higher temperatures, can compromise the quality of the results. Drawing on information theory, we propose a context-based score to quantitatively evaluate value and originality. This score incentivizes accuracy and adherence to the request while fostering divergence from the learned distribution. We propose using our score as a reward in a reinforcement learning framework to fine-tune large language models for maximum performance. We validate our strategy through experiments in poetry generation and math problem solving, demonstrating that it enhances the value and originality of the generated solutions.
• Abstract（参考訳）: 創造的なタスクに大規模な言語モデルの使用が増えているにもかかわらず、その出力は多様性に欠けることが多い。 高温でのサンプリングのような一般的なソリューションは、結果の品質を損なう可能性がある。 情報理論に基づいて,価値と独創性を定量的に評価する文脈ベースのスコアを提案する。 このスコアは、学習された分布からのばらつきを育みながら、要求に対する正確さと固執を動機付ける。 本稿では,大規模言語モデルを微調整して性能を最大化するための強化学習フレームワークにおいて,我々のスコアを報奨として活用することを提案する。 我々は、詩生成と数学問題解決の実験を通じて、我々の戦略を検証し、それが生成した解の価値と独創性を高めることを実証する。

関連論文リスト

• Probing and Inducing Combinational Creativity in Vision-Language Models [52.76981145923602]
  VLM(Vision-Language Models)の最近の進歩は、それらのアウトプットが組合せの創造性を反映しているかという議論を引き起こしている。 本稿では,創造的プロセスを3つのレベルに分解するIEIフレームワークを提案する。 このフレームワークを検証するために、IEIフレームワークに従って注釈付けされた666人のアーティストによる視覚マッシュアップの高品質データセットであるCreativeMashupをキュレートする。
  論文  参考訳（メタデータ） (2025-04-17T17:38:18Z)
• Beyond Memorization: Mapping the Originality-Quality Frontier of Language Models [19.700493685081604]
  大型言語モデル(LLM)は、アイデアや科学的発見にますます利用されている。 以前の研究は、トレーニングデータに対する独創性としてノベルティを評価するが、元の出力は品質が低い可能性がある。 創発性と品質のバランスをとるLLM世代のための新しいノベルティ指標を提案する。
  論文  参考訳（メタデータ） (2025-04-13T00:48:58Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)
• Steering Large Language Models to Evaluate and Amplify Creativity [7.031631627161492]
  創造性を判断するために、創造的に書く方法に関するこの知識を活用できることを示します。 我々は,LLMの内部状態の違いを抽出する機械的アプローチを,「空虚」あるいは「創造的」に応答するよう促す。
  論文  参考訳（メタデータ） (2024-12-08T20:28:48Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Creativity Has Left the Chat: The Price of Debiasing Language Models [1.223779595809275]
  大規模言語モデル(LLM)の創造性に対する人間からのフィードバックからの強化学習の意図しない結果について検討する。 我々の発見は、コピーライティング、広告作成、顧客ペルソナ生成といったクリエイティブなタスクにLLMを頼っているマーケターにとって大きな意味を持つ。
  論文  参考訳（メタデータ） (2024-06-08T22:14:51Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• The Creative Frontier of Generative AI: Managing the Novelty-Usefulness Tradeoff [0.4873362301533825]
  生成人工知能(AI)システムにおける新規性と有用性の最適バランスについて検討する。 どちらの側面も過度に強調すると、幻覚や暗記のような限界に繋がる。
  論文  参考訳（メタデータ） (2023-06-06T11:44:57Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Towards Creativity Characterization of Generative Models via Group-based Subset Scanning [64.6217849133164]
  創造的プロセスを特定し,定量化し,特徴付けるグループベースサブセットスキャンを提案する。 創造的なサンプルは、データセット全体にわたる通常のサンプルや非創造的なサンプルよりも大きな異常のサブセットを生成する。
  論文  参考訳（メタデータ） (2022-03-01T15:07:14Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Language Model Evaluation in Open-ended Text Generation [0.76146285961466]
  本研究では,機械生成テキストの品質,多様性,一貫性を評価するために提案されている評価指標について検討する。 そこで我々は,オープン・エンド・ジェネレーション・タスクにおいて,言語モデルを評価するための実用的なパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-08-08T06:16:02Z)
• Towards creativity characterization of generative models via group-based subset scanning [51.84144826134919]
  創造的プロセスを定量化し,検出し,特徴付けるグループベースサブセットスキャンを提案する。 創造的なサンプルは、データセットをまたいだ通常または非創造的なサンプルよりも大きな異常のサブセットを生成する。
  論文  参考訳（メタデータ） (2021-04-01T14:07:49Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。