Packages

Pour stocker et lire les données au format RDS, j’utilise le package {readr}. Pour manipuler et nettoyer les données, j’utilise {dplyr}, {forcats}, {purrr} et {tidyr}. Pour visualiser les données collectées, j’utilise {ggplot2} et {RColorBrewer}. Pour extraire les émojis à partir des tweets, j’utilise la base de données d’émojis de {rtweet}. Pour construire le corpus à partir des textes des tweets, j’utilise le package {tm} et pour afficher le nuage de mots j’utilise {wordcloud2}.

library(dplyr)
library(forcats)
library(ggplot2)
library(here)
library(purrr)
library(readr)
library(RColorBrewer)
library(rtweet)
library(stringr)
library(tidyr)
library(tm)
library(wordcloud2)

Graphiques: Thème et palette

Le code ci-dessous définit un thème et une palette de couleurs communs à toutes les graphiques. La fonction theme_set() de {ggplot2} définit le thème pour tous les graphiques.

# Define a personnal theme
custom_plot_theme <- function(...){
  theme_classic() %+replace%
    theme(panel.grid = element_blank(),
          axis.line = element_line(size = .7, color = "black"),
          axis.text = element_text(size = 11),
          axis.title = element_text(size = 12),
          legend.text = element_text(size = 11),
          legend.title = element_text(size = 12),
          legend.key.size = unit(0.4, "cm"),
          strip.text.x = element_text(size = 12, colour = "black", angle = 0),
          strip.text.y = element_text(size = 12, colour = "black", angle = 90))
}

## Set theme for all plots 
theme_set(custom_plot_theme())

# Define a palette for graphs
greenpal <- colorRampPalette(brewer.pal(9,"Greens"))

Lecture des données collectées dans la partie 1

Les données originales peuvent être téléchargées ici. Voir la partie 1 “Analyse de données Twitter avec R: Collecte des statuts Twitter liés à une conférence scientifique” pour plus d’informations sur comment j’ai collecté et aggrégé ces statuts Twitter.

Identification du hashtag de la conférence le plus populaire

Comme je l’ai mentionné dans la partie 1 “Analyse de données Twitter avec R: Collecte des statuts Twitter liés à une conférence scientifique”, les organisateurs locaux ont défini plusieurs hashtags pour la conférence NEUBIAS que j’ai appelé les “hashtags de la conférence”. Comme l’illustre le fil Twitter ci-dessous, cela a soulevé deux grandes questions : pourquoi plusieurs hashtags au lieu d’un seul ? lequel sera le plus populaire ?

tweet_shot("https://twitter.com/VincentMaioli/status/1233458216413126657")

Dans les données que j’ai collectées et aggrégées dans la partie 1 “Analyse de données Twitter avec R: Collecte des statuts Twitter liés à une conférence scientifique”, la colonne hashtags regroupe au format liste les hashtags utilisés pour chaque statut Twitter (tweet ou retweet).

all_neubiasBdx_unique %>%
  filter(!is_retweet) %>% 
  select(hashtags) %>% 
  as.data.frame() %>% 
  head() %>% 
  knitr::kable()

Ici, je choisis de travailler uniquement sur les tweets et non sur les retweets pour mettre en valeur les choix des utilisateurs de Twitter, et non ce qui a été amplifié au final. J’aplatis les listes de la colonne “hashtags” en lignes séparées à l’aide de la fonction unnest(). Ensuite, je ne garde que les hashtags de la conférence. Et je les compte et les classe par ordre décroissant.

most_popular <- all_neubiasBdx_unique %>%
  filter(!is_retweet) %>% 
  unnest(hashtags) %>% 
  mutate(hashtags_unnest = tolower(hashtags)) %>% 
  filter(!is.na(hashtags_unnest)) %>% 
  filter(hashtags_unnest %in% c("neubiasbordeaux", "neubias_bdx", "neubiasbdx",
                                "neubias2020_bdx", "neubias2020")) %>% 
  count(hashtags_unnest) %>% 
  arrange(desc(n)) %>% 
  top_n(10, n)

Le hashtag de la conférence le plus populaire est clairement #neubiasbordeaux. Il a été utilisé dans 561 tweets sur un total de 661 tweets, ce qui signifie qu’environ 85% des tweets dans ce jeu de données contiennent ce hashtag.

ggplot(data = most_popular) +
   geom_col(aes(fct_reorder(hashtags_unnest, n), n, fill = n), 
           colour = "grey30", width = 1) +
  labs(x = "", y = "", title = "Conference hashtags") +
  coord_flip() +
  scale_fill_gradientn("n", colours = greenpal(10), guide = "none") +
  scale_y_continuous(expand = c(0, 0)) +
  scale_x_discrete(expand = c(0, 0)) 

Extraction des hashtags associés aux hashtags de la conférence

A nouveau, je choisis de travailler uniquement sur les tweets et non sur les retweets pour mettre en valeur les choix des utilisateurs de Twitter, et non ce qui a été amplifié au final. Comme ci-dessus, j’aplatis les listes de la colonne hashtags en lignes séparées à l’aide de la fonction unnest() Cette fois-ci, je garde tous les hashtags sauf ceux de la conférence grâce à la fonction '%!in%' que j’ai moi même créé et qui réalise l’opération inverse de %in%. Je compte ensuite les hashtags et je les classe par ordre décroissant.

'%!in%' <- function(x,y)!('%in%'(x,y))

hashtags_count <- all_neubiasBdx_unique %>%
  filter(!is_retweet) %>% 
  unnest(hashtags) %>% 
  mutate(hashtags_unnest = tolower(hashtags)) %>% 
  filter(!is.na(hashtags_unnest)) %>% 
  filter(hashtags_unnest %!in% c("neubiasbordeaux", "neubias_bdx", "neubiasbdx",
                                 "neubias2020_bdx", "neubias2020")) %>% 
  count(hashtags_unnest) %>% 
  arrange(desc(n)) %>% 
  top_n(10, n)

Dans le graphique ci-dessous, je mets en avant les dix hashtags les plus fréquemment associés avec les hashtags de la conférence. Je vois trois catégories de hashtags:
1) des mots se rapportant à la conférence: neubias, qui est le nom du réseau organisant la conférence, et ts15, le nom d’une des training schools
2) des mots se rapportant au domaine de la bioimage analyse: bioimageanalysis, deeplearning, opensource, openscience et microscopy
3) des mots se rapportant à un outil de bioimage analyse en particulier: deepimagej, clij and clij2 (trois plugins ImageJ/Fiji)

ggplot(data = hashtags_count) +
   geom_col(aes(fct_reorder(hashtags_unnest, n), n, fill = n), 
           colour = "grey30", width = 1) +
  labs(x = "", y = "", title = "Top 10 associated hashtags") +
  coord_flip() +
  scale_fill_gradientn("n", colours = greenpal(10)) +
  scale_y_continuous(expand = c(0, 0)) +
  scale_x_discrete(expand = c(0, 0)) +
  theme(legend.position = "none")

Exploration des émojis et du contenu des tweets

J’aimerais compter le nombre d’émojis et mettre en évidence les mots les plus utilisés dans les tweets à l’aide d’un nuage de mots. Dans les données que j’ai collectées et aggrégées dans la partie 1 “Analyse de données Twitter avec R: Collecte des statuts Twitter liés à une conférence scientifique”, la colonne text contient le texte de chaque tweet. Je ne peux pas utiliser directement le contenu de la colonne de texte car les tweets sont pleins de signes de ponctuation, de chiffres, d’URL, etc.

all_neubiasBdx_unique %>%
  filter(!is_retweet) %>% 
  select(text) %>% 
  mutate(text = gsub(pattern = "\\n\\n", replacement = "\\n", x = text)) %>%
  head()  %>%
  knitr::kable(escape = TRUE)

Je dois filtrer les données pour ne garder que les tweets, et non les retweets, puis nettoyer le contenu du texte des tweets, c’est-à-dire supprimer les noms de compte, les urls, les signes de ponctuation et les chiffres, et mettre le texte en minuscules.

text_only <- all_neubiasBdx_unique %>%
  filter(!is_retweet) %>%
  mutate(
    # add spaces before the # and @
    clean_text = gsub(x = text, pattern = "(?=@)",
                      replacement = " ", perl = TRUE) %>%
      gsub(x = ., pattern = "(?=#)", replacement = " ", perl = TRUE) %>%
      str_replace_all(pattern = "\n", replacement = "") %>%
      str_replace_all(pattern = "&amp;", replacement = "") %>%
      # remove accounts mentionned with an @
      str_replace_all(pattern = "@([[:punct:]]*\\w*)*", replacement = "") %>%
      # remove URLs
      str_replace_all(pattern = "http([[:punct:]]*\\w*)*", replacement = "") %>%
      # remove punctuaction signs except #
      gsub(x = ., pattern = "(?!#)[[:punct:]]",
           replacement = "", perl = TRUE) %>%
      # lowercase the text
      tolower() %>%
      # remove isolated digits
      str_replace_all(pattern = " [[:digit:]]* ", replacement = " ")
  )

all_emojis_in_tweets <- emojis %>% 
  # for each emoji, find tweets containing this emoji       
  mutate(tweet = map(code, ~grep(.x, text_only$text))) %>% 
  unnest(tweet) %>%
  # count the number of tweets in which each emoji was found           
  count(code, description) %>% 
  mutate(emoji = paste(code, description)) 

all_emojis_in_tweets %>% 
  top_n(20, n) %>% 
ggplot() +
  geom_col(aes(x = fct_reorder(emoji, n), y = n, fill = n), 
           colour = "grey30", width = 1) +
  labs(x = "", y = "Count", title = "Most used emojis") +
  coord_flip() +
  scale_fill_gradientn("n", colours = greenpal(10), guide = "none") +
  scale_y_continuous(expand = c(0, 0),
                     breaks=seq(0, 10, 2), limits = c(0,10)) +
  scale_x_discrete(expand = c(0, 0)) 

docs <- SimpleCorpus(VectorSource(text_only$clean_text),
                     control = list(language = "en"))

docs_cleaned <- tm_map(docs, removeWords, stopwords("english"))
docs_cleaned <- tm_map(docs_cleaned, stripWhitespace)

tosingular <- content_transformer(
  function(x, pattern, replacement) gsub(pattern, replacement, x)
  )

docs_cleaned <- tm_map(docs_cleaned, tosingular, "cells", "cell") 
  docs_cleaned <- tm_map(docs_cleaned, tosingular, "workflows", "workflow") 
  docs_cleaned <- tm_map(docs_cleaned, tosingular, "tools", "tool") 
  docs_cleaned <- tm_map(docs_cleaned, tosingular, "images", "image") 
  docs_cleaned <- tm_map(docs_cleaned, tosingular, "users", "user") 
  docs_cleaned <- tm_map(docs_cleaned, tosingular, "analysts", "analyst") 
  docs_cleaned <- tm_map(docs_cleaned, tosingular, "developers", "developer") 
  docs_cleaned <- tm_map(docs_cleaned, tosingular, "schools", "school") 

rm_words <- c("will", "use", "used", "using", "today", "can", "one", "join", "day", "week", "just", "come", "first", "last", "get", "next", "via", "dont", "also", "want", "make", "take", "may",  "still", "need", "now", "another", "maybe", "getting", "since", "way")
docs_cleaned <- tm_map(docs_cleaned, removeWords, rm_words)

inspect(docs_cleaned)

dtm <- TermDocumentMatrix(docs_cleaned)
m <- as.matrix(dtm)
v <- sort(rowSums(m), decreasing = TRUE)
d <- data.frame(word = names(v), freq = v)

d %>% 
  filter(word %!in% c("#neubiasbordeaux", "#neubias_bdx", "#neubiasbdx",
                      "#neubias2020_bdx", "#neubias2020")) %>% 
  top_n(15, freq) %>% 
ggplot() +
  geom_col(aes(fct_reorder(word, freq), freq, fill = freq), 
           colour = "grey30", width = 1) +
  labs(x = "", y = "Count of occurences",
       title = "Top 10 words, excluding conference hashtags") +
  coord_flip() +
  scale_fill_gradientn("freq", colours = greenpal(10), guide = FALSE) +
  scale_y_continuous(expand = c(0, 0)) +
  scale_x_discrete(expand = c(0, 0)) +
  custom_plot_theme()

l <- nrow(d)

# Change to square root to reduce difference between sizes
d_sqrt <- d %>% 
  mutate(freq = sqrt(freq))

  my_graph <- wordcloud2(
  d_sqrt,
  size = 0.5, # sqrt : 0.4
  minSize = 0.1, # sqrt : 0.2
  rotateRatio = 0.6,
  gridSize = 5, # sqrt : 5
  color = c(rev(tail(greenpal(50), 40)),
            rep("grey", nrow(d_sqrt) - 40)) # green and grey
)

Conclusion

Cet article constitue la troisième et dernière partie de ma série “Analyser les données Twitter avec R”. Dans la première partie de cette série, j’ai expliqué comment j’ai collecté et agrégé les statuts Twitter contenant au moins un des hashtags de la conférence NEUBIAS. Dans la deuxième partie, j’ai exploré les profils des utilisateurs Twitter présents dans le jeu de données et leur relations.

Dans cette troisième et dernière partie, j’explore le contenu des tweets:
- j’ai identifié le hashtag de la conférence le plus populaire parmi les 5 hashtags suggérés par les organisateurs de la conférence
- j’ai extrait les hashtags associés aux hashtags de la conférence
- j’ai identifié les émojis les plus fréquemment utilisés et j’ai découvert que les émojis ne sont pas très présents dans ce jeu de données
- j’ai mis en évidence les mots les plus fréquemment utilisés à l’aide d’un nuage de mots

Remerciements

Je souhaite remercier le Dr. Sébastien Rochette pour son aide sur l’extraction des émojis.

Ressources

https://www.littlemissdata.com/blog/wordclouds