Моментна снимка на промените в популярната музика през последното десетилетие: 2008 срещу 2018

Сред другите запомнящи се цитати за химна 2018 Rockstar, съвременният философ Пост Малоун изписа „Човек, който се чувствам като рокзвезда“. Въоръжени със страст към данните решихме да проучим: рап наистина ли е новият рок? Или новият поп? Рокът все още има значение? Какво най-добре описва типичните поп текстове? Ние проучваме класациите за 2008 и 2018 г. с някои визуализации.

Методът:

Решихме, че добра отправна точка ще бъде Billboard Hot 100 в края на годината, който измерва най-популярните песни чрез радио ефир, стрийминг на данни и продажби (викайте към Billboard, класациите са достъпни тук). Написахме обикновен уеб скрепер, за да получим тези данни. Използвайки топ 100 песни от 2018 и 2008 г., нашата крайна цел беше да се потопим малко по-дълбоко, за да открием големи промени в музикалната индустрия. За да направим някакъв смислен анализ, се нуждаехме от текста и жанра на всяка песен. Уебсайтът AZLyrics (викайте!) Върши чудесна работа по поддържането на много уеб-базирана база данни от текстове; но от страх, че може би се опитваме да създадем конкуриращ се сайт с техните ценни данни, ни забраниха, когато се опитвахме да изстържем текстовете на тези 200 песни. Последният смях обаче имахме, когато се върнахме с малко по-интелигентен (четете: по-трудно за разпознаване) скрепер и VPN. [целият набор от данни и скрепер са в Github, за тези, които се интересуват]

Резултатите:

Някои неща, които трябва да отбележим: вместо да се занимаваме с множество поджанрове като trap-rap, EDM-pop и т.н., решихме да bucketize песни в широките жанрове на рап, R&B, поп, кантри и рок (с някои манипулации на Pandas). Например, класифицирахме песни Indie / Alternative като рок.

Горещите 100:

Първо, имаме разбивка на топ 100 по жанр: Най-интересното тук - според нас - е появата на рап и бавния спад на рока. Диаграмите на пай по-долу показват дяловете от жанрове в горещия 100 на билборда за годините 2018 и 2008.

Rap почти удвои своя дял от топ 100, докато рокът падна от едва 12% през 2008 г. на 5% през 2018 г. Всъщност бихме спорили, че рапът вече е доминиращият жанр, дори и над поп (популярната музика, от разделителна способност). Въпреки това, тези диаграми се виждат най-добре във връзка с тези разпръсквания, показващи разпространението на номера на графики в жанрове.

Разпръскванията дават представа колко точно са били популярни жанровете през всяка година.

Разглеждайки сюжета на 2008 г., можем да заключим, че само няколко рап песни пробиха топ 40 - 6, за да бъдем точни - но попът имаше 20 попадения в този диапазон. Сега след десетилетие броят на рап хитовете в топ 40 се е взривил до 20, а броят на поп песните в топ 40 съответно е намалял до 16. Рокът, четвъртият най-популярен жанр през 2008 г., има 16 песни в гореща 100; обаче това беше най-малко популярният жанр през 2018 г., допринасяйки само за 5 от топ 100.

Текстове на песни:

Сега за интересната част: текстовете на популярните песни. Направихме кутии, показващи броя на думите в типична песен от всеки жанр. Както се очаква, с по-висок ритъм и честота на думите, рап песните са средни (средно) най-много - около 600 думи / песен и през 2008 г. и 18. Други жанрове също са съвместими между двете години: поп и R&B около 400 думи / песен , рок и кънтри около 300.

Мислехме, че още едно чудесно разбиране ще бъде сравняването на броя на отделните думи в песните (игнорираните повторения). Знаехме, че рапът ще бъде жанрът за възнаграждение на повторението, но с учудване открихме, че въпреки че има най-много думи досега, той и през двете години не е оценил средно най-много уникални думи на песен. Всъщност през 2008 г., рап песните са средно над 100 уникални думи на песен, но това падна до около 80 през 2018 г. (подозираме заради възхода на силно повтарящия се мрънкащ рап, благодарение на Migos!)

Word Clouds:

И накрая, решихме, че би било интересно да направим облаци от думи (визуализирайте най-често срещаните думи в текстовете на жанра). Нашето заключение: има смисъл родителите да искат да пазят децата си от рап. Интересното е, че облакът от рап за 2008 г. почти изглежда почти шекспировски в сравнение с 2018-та, който е изпълнен с обилни и пренебрежителни термини. Така че изглежда, че рап текстовете се влошават по отношение на изключително съдържание. Някои бонус прозрения: поп песните се характеризират най-добре с думи като „любов“, „знам“, „искам“ и „чувствам“, а текстовете на R&B са някъде между Pop и Rap.

Този анализ очевидно е далеч от перфектен, но се забавлявахме и смятаме, че извадихме някои интересни прозрения. Ако се интересувате от това как да научите как да бракувате в мрежата или да направите някои от тези графики, целият ни код и данни са в Github. Благодаря ви за четенето! На следващо място: използваме машинно обучение, за да опитаме да прогнозираме жанра на песента от текста на текста (очевидно с повече данни). Следете се!