Archives

Publié par Aaron Halfaker, R. Stuart Geiger, Jonathan Morgan, John Riedl

La montée et le déclin d'une communauté de collaboration ouverte: comment la réaction de Wikipédia à la popularité soudaine provoque son déclin

Les systèmes de collaboration ouverts tels que Wikipedia doivent maintenir un pool de contributeurs volontaires afin de rester pertinents. Wikipedia a été créé grâce à un nombre considérable de contributions de millions de contributeurs. Cependant, des recherches récentes ont montré que le nombre de contributeurs actifs sur Wikipedia diminuait régulièrement depuis des années, ce qui laisse penser que le maintien en poste de nouveaux arrivants en est la cause. Ce document présente des données qui montrent que plusieurs changements apportés par la communauté Wikipedia pour gérer la qualité et la cohérence face à une croissance massive de la participation ont paradoxalement paralysé la croissance même pour laquelle ils avaient été conçus. Plus précisément, le caractère restrictif du principal mécanisme de contrôle de la qualité de l'encyclopédie et des outils algorithmiques utilisés pour rejeter les contributions sont considérés comme des causes principales de la diminution de la rétention des nouveaux arrivants. De plus, il a été démontré que les mécanismes formels d’articulation des normes mis en place par la communauté s’étaient calcifiés par rapport aux changements, en particulier ceux proposés par les nouveaux rédacteurs.

Auteurs :
    Aaron Halfaker
    R. Stuart Geiger
    Jonathan Morgan
    John Riedl

Principales constatations (tl: dr)

Pour faire face à l'afflux massif de nouveaux éditeurs entre 2004 et 2007, les Wikipédiens ont mis au point des outils de contrôle de la qualité automatisés et renforcé leurs règles de gouvernance. Ces stratégies raisonnables et efficaces visant à maintenir la qualité de l’encyclopédie ont entraîné une perte de rétention des nouveaux arrivants souhaitables.

    La baisse représente un changement dans le taux de rétention des nouveaux arrivants souhaitables et de bonne foi.
        La proportion de nouveaux arrivants qui révisent de bonne foi n’a pas changé depuis 2006.
        Ces nouveaux venus désirables sont plus susceptibles que leur travail soit rejeté depuis 2007.
        Ce rejet accru prédit la baisse observée de la rétention.
    Les outils de lutte contre le vandalisme semi-autonomes (comme Huggle) sont partiellement responsables.
        Une proportion croissante de nouveaux arrivants souhaitables voient leur travail rejeté par des outils automatisés.
        Ces retours automatisés exacerbent les effets négatifs prévus du rejet sur la rétention.
        Les utilisateurs de Huggle ont tendance à ne pas adopter les meilleures pratiques pour discuter des retours qu'ils effectuent.
    Les nouveaux utilisateurs sont exclus de l'articulation des politiques.
        Le processus formalisé de vérification des nouvelles règles et des modifications apportées aux règles garantit que les modifications apportées par les nouveaux arrivants ne survivent pas.
        Les nouveaux venus et les rédacteurs expérimentés s'orientent de plus en plus vers des espaces moins formels.

Résumé

 

Cher lecteur,

Vous trouverez ci-dessous le résumé des auteurs d'un article accepté dans un numéro spécial d'American Behavioral Scientist sur Wikipedia. Je fournis également la copie intégrale pré-imprimée du document si vous souhaitez plus de discussion et d’explication.
N'hésitez pas à m'envoyer un email avec des questions, et s'il vous plaît laissez-moi savoir si vous trouvez une erreur.
Avec plaisir!

Aaron Halfaker (aaron.halfaker@gmail.com)


Selon un rapport publié en 2009 par la Wikimedia Foundation, le nombre d'éditeurs actifs travaillant sur Wikipedia anglais est en baisse. Comme le montre la figure 1 ci-dessous, le nombre d'éditeurs actifs (éditeurs avec> = 5 modifications / mois) a brusquement cessé de croître au début de 2007 et est entré dans une baisse linéaire et régulière. Des recherches récentes ont montré que cette transition est enracinée dans la rétention décroissante de nouveaux rédacteurs en chef, et non dans un changement dans la rétention d'anciens réducteurs déjà expérimentés (Suh, 2009). Ce qui n’est pas clair, ou l’était avant ce travail, est la raison pour laquelle ce changement soudain dans la rétention de nouveaux rédacteurs a eu lieu.

 

Figure 1. L'éditeur décline. Le nombre d'éditeurs actifs (> = 5 modifications / mois) est tracé au fil du temps pour Wikipédia en anglais.

Figure 1. L'éditeur décline. Le nombre d'éditeurs actifs (> = 5 modifications / mois) est tracé au fil du temps pour Wikipédia en anglais.

Cet article implique les stratégies adoptées par les éditeurs de Wikipedia pour préserver la qualité et la cohérence de l'encyclopédie en provoquant le déclin de la rétention de nouveaux arrivants souhaitables. Ci-dessous, les résultats sont décomposés en une description de trois résultats généraux.
Le déclin des nouveaux venus désirables

L'une des principales questions en suspens à propos du déclin des nouveaux arrivants sur Wikipedia était de savoir si c'était le résultat d'un déclin naturel de la qualité des nouveaux arrivants (où les nouveaux arrivants de moindre qualité étaient "encouragés" à aller ailleurs) ou si des changements dans la manière dont Wikipedia accueillait les nouveaux arrivants étaient en cause . Afin d'explorer cela, nous avons classé manuellement le travail de 2100 nouveaux arrivants échantillonnés sur l'historique du site. Avec l'aide de Maryana Pinchuk (Accedie), Oliver Keyes (Ironholds) et Steven Walling (Steven_Walling), nous avons classé ces nouveaux arrivants dans 4 classes de qualité ordinale, en fonction de leur première session d'édition:

    Vandales - intentionnellement malveillants, prêts à causer du tort
    Mauvaise foi - Essayer d'être drôle, pas ici pour aider ou faire du mal
    Bonne foi - Essayer d'être productif, mais échouer
    Golden - Contribution fructueuse à la production

Dans l’analyse, nous simplifions ces 4 catégories en nouveaux arrivants «souhaitables» (de bonne foi et dorés) et «indésirables».

While we do not suggest that the rules of Wikipedia be open to reinterpretation by newcomers, we advocate that concern should be allocated for newcomers with a legitimate interest in changing the way that Wikipedia works. We argue that these results suggest that it is important that newcomers have a say in how they are treated.

Figure 2. Proportion de nouveaux arrivants souhaitables. La proportion de nouveaux arrivants entrant dans les deux classes de qualité souhaitables, de bonne foi et dorée, est tracée dans le temps.  Figure 3. Rejet des nouveaux venus désirables. La proportion de nouveaux arrivants souhaitables qui sont annulés lors de leur première session de révision est tracée dans le temps.  Figure 4. Survie des nouveaux arrivants souhaitables. La proportion de nouveaux arrivants souhaitables qui continuent à effectuer des modifications pendant au moins deux mois est indiquée dans le temps.
Figure 2. Proportion de nouveaux arrivants souhaitables. La proportion de nouveaux arrivants entrant dans les deux classes de qualité souhaitables, de bonne foi et dorée, est tracée dans le temps.  Figure 3. Rejet des nouveaux venus désirables. La proportion de nouveaux arrivants souhaitables qui sont annulés lors de leur première session de révision est tracée dans le temps.  Figure 4. Survie des nouveaux arrivants souhaitables. La proportion de nouveaux arrivants souhaitables qui continuent à effectuer des modifications pendant au moins deux mois est indiquée dans le temps.
Figure 2. Proportion de nouveaux arrivants souhaitables. La proportion de nouveaux arrivants entrant dans les deux classes de qualité souhaitables, de bonne foi et dorée, est tracée dans le temps.  Figure 3. Rejet des nouveaux venus désirables. La proportion de nouveaux arrivants souhaitables qui sont annulés lors de leur première session de révision est tracée dans le temps.  Figure 4. Survie des nouveaux arrivants souhaitables. La proportion de nouveaux arrivants souhaitables qui continuent à effectuer des modifications pendant au moins deux mois est indiquée dans le temps.

Figure 2. Proportion de nouveaux arrivants souhaitables. La proportion de nouveaux arrivants entrant dans les deux classes de qualité souhaitables, de bonne foi et dorée, est tracée dans le temps. Figure 3. Rejet des nouveaux venus désirables. La proportion de nouveaux arrivants souhaitables qui sont annulés lors de leur première session de révision est tracée dans le temps. Figure 4. Survie des nouveaux arrivants souhaitables. La proportion de nouveaux arrivants souhaitables qui continuent à effectuer des modifications pendant au moins deux mois est indiquée dans le temps.

Les trois graphiques ci-dessus (et les modèles de régression logistique que nous avons construits) font apparaître certaines choses:

     La proportion de nouveaux arrivants souhaitant entrer sur Wikipedia n'a pas changé depuis 2006
     Ces bons nouveaux venus sont plus susceptibles que leurs prédécesseurs de voir leurs premières contributions rejetées
     La baisse du nombre de bons nouveaux arrivants est le résultat d’une diminution du nombre de nouveaux arrivants souhaitables. Le taux de rétention indésirable des nouveaux arrivants (non indiqué) reste constant.

Un contrôle de qualité efficace conduit à une expérience impersonnelle des nouveaux arrivants
 
 
 
 
Figure 5. Premier message aux nouveaux utilisateurs. La proportion de premiers messages adressés aux nouveaux éditeurs est indiquée dans le temps en fonction de la manière dont ces messages ont été livrés.

Figure 5. Premier message aux nouveaux utilisateurs. La proportion de premiers messages adressés aux nouveaux éditeurs est indiquée dans le temps en fonction de la manière dont ces messages ont été livrés.

In order to maintain the quality of encyclopedic content in the face of exponential growth in the contributor community, Wikipedians developed automated (bots) and semi-automated tools (Huggle, Twinkle, etc.) to make the work of rejecting undesirable contributions waste as little effort as possible. These tools are apparently effective at their job. Recent research has shown that the time between when vandalism is posted and reverted is very short (median: ~2 minutes)(Kittur, 2007) and has been steadily falling(West, 2010). However, we hypothesized that the ways in which efficiency was achieved with these tools was part of the problem.

Figure 6. Retours automatisés des nouveaux arrivants souhaitables. La proportion de nouveaux arrivants inversés par des outils semi-automatisés.

Figure 6. Retours automatisés des nouveaux arrivants souhaitables. La proportion de nouveaux arrivants inversés par des outils semi-automatisés.

Les recherches récentes de Geiger et al. a montré qu’un nombre croissant de premiers messages reçus par les nouveaux arrivants après leur adhésion à Wikipédia correspond à l’activité d’un outil de contrôle de la qualité automatisé (Geiger, 2012). La figure 5 montre l'utilisation croissante d'outils automatisés pour envoyer des messages aux nouveaux arrivants. La figure 6 montre que l'utilisation de ces outils de contrôle de la qualité pour reconvertir les nouveaux arrivants est en augmentation et nos modèles de régression (voir le document) suggèrent que les nouveaux arrivants souhaitables qui ont été annulés avec eux étaient particulièrement moins susceptibles de continuer à travailler.

Figure 7. BRD reciprocation rate. The rate at which reverting editors respond to BRD initiations is plotted over time by the tool used to perform the revert.

Figure 7. BRD reciprocation rate. The rate at which reverting editors respond to BRD initiations is plotted over time by the tool used to perform the revert.

Afin d'expliquer cet effet, nous avons cherché des preuves que les utilisateurs des bot interagissaient négativement avec les nouveaux arrivants en examinant leur adhésion aux meilleures pratiques de Wikipedia pour les discussions sur les modifications annulées, le cycle Bold, Revert, Discute. Comme le montre la figure 7, il était peu probable que les utilisateurs de Huggle réagissent aux nouveaux arrivants souhaitables lorsqu'ils se demandent pourquoi ils ont été révoqués.
Calcification des règles contre les nouveaux venus

Des travaux récents portant sur les politiques et les directives de Wikipedia ont suggéré que le processus de vérification de ces règles et recommandations reflétait les préoccupations de la communauté et la décentralisation de la participation à la gouvernance (Beschastnikh, 2008). Cependant, il a également été démontré que les Wikipédiens expérimentés avaient plus de pouvoir sur l'interprétation des règles (Kriplean, 2007) et que la création de politiques et de lignes directrices avait ralenti depuis 2006 (Forte, 2009). Nous soupçonnions que, bien que naturelle et généralement bénéfique, cette calcification des règles de Wikipedia serait biaisé contre les préoccupations des nouveaux arrivants.

Pour explorer cette hypothèse, nous avons construit un modèle de régression prévoyant les modifications apportées aux politiques et aux directives susceptibles d’être annulées. En bref, ce modèle nous a montré que:

    Au fil du temps, les nouveaux arrivants sur Wikipedia sont nettement moins susceptibles de voir leurs modifications de politique conservées.
    Contrairement aux politiques et directives officielles, les essais n'ont pas subi une telle répression

Références

  • Bannon, L. (1992). Taking CSCW Seriously: Supporting Articulation Work. CSCW, 1(1), 1-33.
  • Beschastnikh, I., Kriplean, T., McDonald, D. W. (2008). Wikipedia Self-Governance in Action: Motivating the Policy Lens. ICWSM.
  • Bryant, S. L., Forte, A., & Bruckman, A. (2005). Becoming Wikipedian: transformation of participation in a collaborative online encyclopedia. GROUP (pp. 1-10).
  • Choi, B., Alexander, K., Kraut, R. E., & Levine, J. M. (2010). Socialization tactics in wikipedia and their effects. CSCW (pp. 107-116).
  • Ducheneaut, N. (2005). Socialization in an Open Source Software Community: A Socio-Technical Analysis. CSCW (pp. 323-368).
  • Farnham, S., Keyes, D, Yuki, V., & Tugwell, C., (2012). Puget sound off: fostering youth civic engagement through citizen journalism. CSCW (pp. 285-294).
  • Forte, A., Larco, V., & Bruckman, A. (2009). Decentralization in Wikipedia Governance. Journal Manage. Info. Sys. 26(1), 49-72.
  • Giles, J. (2005). Internet encyclopedias go head to head. Nature, 438(7070), 900-901.
  • Geiger, R. S. (2011) The Lives of Bots. In Critical Point of View: A Wikipedia Reader, G. Lovink and N. Tkacz, eds., Institute of Network Cultures, (pp. 78-79).
  • Geiger, R. S., Halfaker, A., Pinchuk, M., & Walling, S. (in-press). Defense Mechanism or Socialization Tactic? Improving Wikipedia's Notifications to Rejected Contributors. ICWSM'12.
  • Geiger, R. S., & Ribes, D. (2010). The work of sustaining order in Wikipedia: the banning of a vandal. CSCW (pp. 117-126).
  • Halfaker, A., Kittur, A., Kraut, R. E., & Riedl, J. A jury of your peers: quality, experience and ownership in Wikipedia. WikiSym (pp. 15:1-10).
  • Halfaker, A., Kittur, A., & Riedl, J. (2011). Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. WikiSym (pp. 163-172).
  • Hansen, D. L., Ackerman, M. S., Resnick, P. J., & Munson, S. (2007). Virtual Community Maintenance with a Collaborative Repository. ASIST, 44(1).
  • Kittur, A., Suh, B., Pendleton, B. A., & Chi, E. H. (2007). He says, she says: conflict and coordination in Wikipedia, CHI (pp. 453-462).
  • Krieger, M., Stark, E. M., & Klemmer, S. R. (2009). Coordinating tasks on the commons: designing for personal goals, expertise and serendipity. CHI (pp. 1485-1494).
  • Kriplean, T., Beschastnikh, I., McDonald, D. W., & Golder, S. A., (2007) Community, consensus, coercion, control: cs*w or how policy mediates mass participation. GROUP (pp. 167-177).
  • Kriplean, T., Morgan, J., Freelon, D., Borning, A., & Bennett, L. (2012). Supporting reflective public thought with Considerit. CSCW (pp. 265-274).
  • Lam, S. K., & Riedl, J. (2009). Is Wikipedia growing a longer tail?. GROUP (pp. 105-114).
  • Lam, S. K., Uduwage, A., Dong, Z., Sen, S., Musicant, D. R., Terveen, L., & Riedl, J. (2011). WP:clubhouse?: an exploration of Wikipedia's gender imbalance. WikiSym (pp. 1-10).
  • Lampe, C., & Resnick, P. (2004). Slash(dot) and burn: distributed moderation in a large online conversation space. CHI (pp. 543-550).
  • Latour, B. (1988). Mixing humans and nonhumans together: The sociology of a door-closer, Social Problems, 298-310.
  • Morgan, J. T., & Zachry, M. (2010). Negotiating with angry mastodons: the Wikipedia policy environment as genre ecology. GROUP (pp. 165-168).
  • Musicant, D. R., Ren, Y., Johnson, J. A., & Riedl, J. (2011). Mentoring in Wikipedia: a clash of cultures. WikiSym (pp. 173-182).
  • Ostrom, E. (1990). Governing the Commons: The Evolution of Institutions for Collective Action. New York: Cambridge University Press.
  • Panciera, K., Halfaker, A., & Terveen, L. (2009) Wikipedians are born, not made: a study of power editors on Wikipedia. GROUP (pp. 51-60).
  • Priedhorsky, R., Chen, J., Lam, S. K., Panciera, K., Terveen, L., & Riedl, J. (2007). Creating, destroying, and restoring value in Wikipedia, GROUP (pp. 259-268).
  • Stvilia, B., Twidale, M. B., Smith, L. C., & Gasser L (2005). Information quality work organization in Wikipedia. American Society for Information Science and Technology, 59(6), 983-1001.
  • Suh, B., Convertino, G., Chi, E. H., & Pirolli, P. (2009) The singularity is not near: slowing growth of Wikipedia. WikiSym, (pp. 8:1-10).
  • Schneider, J., Passant, A., & Breslin, J.G. (2011). Understanding and improving Wikipedia article discussion spaces. SAC (pp. 808-813).
  • Viegas, F. B., Wattenberg, M., Kriss, J., & van Ham, F. (2007) Talk Before You Type: Coordination in Wikipedia, HICSS (pp. 78-88).
  • West, A.G., Aviv, A.J., Chang, J., & Lee, I. (2010). Spam Mitigation using Spatio-Temporal Reputations from Blacklist History. In ACSAC '10: Proceedings of the 26th Annual Computer Security Applications Conference, (pp. 161-170).
  • Wilkinson, D. M. (2008). String regularities in online peer production. ECom (pp. 302-309).
Pour être informé des derniers articles, inscrivez vous :

Commenter cet article