Accessibilité du Web : De la standardisation à l’utilisabilité

27 mars 2017

Cliquez ici pour télécharger le rapport au format PDF (non accessible)

Table des matières

Rapport des tests d’utilisabilité

Octobre 2016
Confédération des organismes de personnes handicapées du Québec.

Coordination et rédaction : Pascale Marceau

Avec la collaboration de :

Olivier Collomb d’Eyrames
Anne Pelletier
Ekloweb

Révision de texte : Marthe Roberge

Aprobation finale : Richard Lavigne

Graphisme : Fig. communication graphique

La COPHAN remercie les personnes qui ont accepté d’effectuer les tests d’utilisabilité des sites web. La réalisation du projet Accessibilité du Web : De la standardisation à l’utilisabilité a été possible grâce au soutien financier de l’Office des personnes handicapées du Québec et du fonds à destination spéciale de l’Institut Nazareth et Louis-Braille. Pour communiquez avec nous, consultez notre section Nous joindre.

La COPHAN

La Confédération des organismes de personnes handicapées du Québec (COPHAN) est un regroupement d’action communautaire autonome de défense collective des droits qui a pour mission, depuis 1985, de rendre le Québec inclusif afin d’assurer la participation sociale pleine et entière des personnes ayant des limitations fonctionnelles et de leur famille.

Elle regroupe plus de 60 organismes et regroupements nationaux et régionaux et représente toutes les limitations fonctionnelles : motrices, organiques, neurologiques, intellectuelles, visuelles, auditives, parole et langage, troubles d’apprentissage, troubles du spectre de l’autisme et santé mentale.

La COPHAN s’appuie sur l’expertise et les compétences des personnes ayant des limitations fonctionnelles et de leurs proches afin que leurs recommandations puissent éclairer les décisions politiques. Les positions de la COPHAN se fondent sur la conception qui définit les situations de handicap comme le résultat de l’interaction entre ce qui appartient à la personne (ex. : le type d’incapacités) et ce qui appartient à l’environnement (ex. : les obstacles à l’inclusion). De là l’importance d’avoir un environnement universellement accessible pour permettre une pleine participation.

« La principale question à vous demander est : les utilisateurs essayent-ils d’atteindre un objectif lorsqu’ils visitent mon site? Si la réponse est oui, l’utilisabilité vous concerne. »

« En améliorant l’utilisabilité, nous permettons aux personnes ayant peu d’éducation de conserver des emplois intéressants, nous pouvons relier les citoyens seniors à la communauté, donner aux personnes handicapées les mêmes informations et les mêmes services qu’à tous les autres et permettre à chacun de rentabiliser le temps passé sur l’ordinateur, en réduisant le sentiment de frustration et d’impuissance. »

Nielsen, Jakob et Hoa Loranger.

Résumé

Malgré l’entrée en vigueur, en mai 2013, des trois standards gouvernementaux sur l’accessibilité d’un site Web, SGQRI 008-01, 02 et 03, de nombreuses personnes ayant des limitations rencontrent toujours des obstacles qui réduisent leur accès aux services et à l’information sur le Web. Impliquée dans l’accessibilité de l’information depuis plus de 30 ans, la COPHAN a donc entrepris un projet d’évaluation de l’accessibilité de sites Web, tant par une analyse de conformité que par des tests d’utilisateurs ayant différents types de limitations.

Le principal constat est que la conformité d’un site n’est pas garante de la satisfaction de l’utilisateur ou de l’atteinte de son objectif, elle en est tout au plus un facteur. Un site parfaitement conforme aux règles d’accessibilité, dont l’environnement de navigation n’est pas intuitif ou qui présente une surcharge visuelle ou informationnelle, sera souvent inutilisable par plusieurs. Ainsi, dans toute démarche visant la mise en accessibilité effective d’un site, des tests d’utilisabilité doivent être associés à la mise en conformité. Pour un accès équitable pour toutes et tous à l’information et aux services, il est donc essentiel d’impliquer des personnes représentatives de différents types de limitations.

Introduction

Puisqu’il peut être complexe de répondre aux besoins des personnes ayant des limitations et de leur assurer une équité d’accès aux biens et services, différentes instances élaborent des « recettes » afin de soutenir les professionnels dans leurs efforts. Ces procédures, codes, normes, etc. permettent, entre autres, une uniformisation des pratiques professionnelles et contribuent significativement à améliorer cet accès, notamment aux personnes ayant des limitations. Rappelons toutefois que ces normes ou standards sont un moyen parmi d’autres, et non une fin en soi.

En 1978, le Québec s’est doté d’une première loi visant l’inclusion des personnes handicapées, loi revisitée en 2004. Cette loi, appelée Loi assurant l’exercice des droits des personnes handicapées en vue de leur intégration scolaire, professionnelle et sociale a été élaborée notamment pour accroitre la responsabilisation de toutes les parties (ministères et leurs réseaux, municipalités, organismes publics et privés) pour favoriser l’intégration sociale des personnes ayant des limitations fonctionnelles.

L’esprit de cette loi, détaillé dans la Politique À part entière : Pour un véritable exercice du droit à l’égalité, est clair : pour réussir l’inclusion, l’accessibilité, notamment des biens et services, doit être effective, et non seulement théorique. Pour ce faire, la COPHAN est d’avis qu’au-delà de se conformer à des standards ou à des normes, s’assurer d’impliquer des personnes ayant des limitations dans les processus d’élaboration des services qui les concernent doit se situer au cœur de l’action de tous les acteurs.

Dans un premier temps, ce projet voulait démontrer la nécessité d’impliquer des personnes ayant des limitations dans tous les projets Web des organisations assujetties ou non aux standards gouvernementaux, et dans un deuxième temps, permettre d’alimenter la réflexion entourant la révision des standards, en se fondant sur des constats et des recommandations éclairés.

Mise en contexte

Depuis plusieurs années, les entreprises privées et les acteurs publics élargissent leur offre de services par le biais des technologies de l’information et de la communication. Toutefois, ces nouveaux environnements génèrent souvent des obstacles qui entravent la participation sociale et l’autonomie des personnes ayant des limitations fonctionnelles. Pourtant, par ses aspects communicationnels, transactionnels et informationnels, le Web constitue un outil incomparable pour soutenir la participation sociale.

Pour assurer une équité aux personnes ayant des limitations, le Québec a adopté la Loi assurant l’exercice des droits des personnes handicapées en vue de leur intégration scolaire, professionnelle et sociale (LAEPH). En application de cette loi, le gouvernement du Québec a aussi adopté en 2006 la Politique L’Accès aux documents et services offerts au public pour les personnes handicapées. Cette politique a pour but de « mettre en place, au sein de l’administration, toutes les conditions qui permettront aux personnes handicapées d’avoir accès, en toute égalité, aux services et aux documents ». Elle stipule notamment, comme moyen de mise en œuvre, de s’aligner sur les standards gouvernementaux sur l’accessibilité d’un site Web SGQRI 008-01, 02 et 03 pour les personnes handicapées.

Publiés en mai 2011, les trois standards SGQRI 008 sont en vigueur depuis mai 2013, ce délai ayant permis notamment la formation du personnel des organisations assujetties. Finalement, après plusieurs années de travaux, les standards québécois ressemblent à peu de choses près aux standards internationaux existants. Leur portée est restreinte à des organisations gouvernementales offrant peu de services directs, dans l’espoir tacite de créer un effet d’entraînement auprès des acteurs non assujettis, publics et privés. Pourtant, la COPHAN constate que de nombreuses personnes ayant des limitations rencontrent toujours des obstacles réduisant leur accès aux services et à l’information sur le Web gouvernemental, paragouvernemental et privé.

Depuis qu’elle a commenté, en 2008, le projet de standards sur l’accessibilité du Web SGQRI 008, la COPHAN a continué de développer son expertise en matière d’utilisabilité du Web. Elle l’a fait notamment par la réalisation de projets visant la participation des personnes ayant des limitations dans l’élaboration de projets Web, comme pour la Commission des droits de la personne et de la jeunesse du Québec et pour l’Agence métropolitaine de transports. S’appuyant sur l’expertise de ses membres, la COPHAN a ainsi démontré que les tests d’utilisabilité sont un excellent moyen d’identifier les difficultés vécues par les utilisateurs.

Les standards stipulent qu’au plus tard le 9 mai 2016, le ministre des Services gouvernementaux (sic) doit évaluer leur mise en œuvre et la nécessité d’y apporter des modifications. En vue de cette éventuelle révision, la COPHAN a mis sur pied son projet Accessibilité du Web : De la standardisation à l’utilisabilité qui évalue l’application des standards par les organisations assujetties et qui en définit les limites. Partant du principe que les standards sont un moyen permettant l’accès à l’information, mais non une fin en soi, la COPHAN a associé une analyse de conformité aux standards à des tests d’utilisabilité, réalisés par des personnes ayant des limitations fonctionnelles. Afin d’évaluer la réalité de l’effet d’entraînement des standards, la COPHAN a entrepris la même démarche, avec quelques nuances, auprès d’organisations publiques et privées non assujetties.

Méthodologie

Afin d’évaluer l’application des standards par les organisations assujetties, d’en identifier les limites et d’évaluer l’ampleur de l’effet d’entraînement sur les acteurs non visés, la COPHAN a associé l’analyse de conformité à des tests d’utilisabilité. Tout au long de sa démarche, elle s’est appuyée sur ses groupes membres ainsi que sur un comité de suivi afin d’inscrire son projet au plus près des besoins des personnes ayant des limitations.

Notons que cet exercice ne visait aucunement à identifier des sites fautifs ou performants. Notre objectif était de faire ressortir l’état général d’avancement de l’application des standards dans les sites d’organismes qui y sont assujettis, de constater si des obstacles persistent au-delà de la norme ainsi que de faire un état de l’accessibilité et de l’utilisabilité de sites non assujettis.

Mentionnons qu’étant donné les délais associés à la réalisation d’un tel exercice, certains sites ont subi des modifications entre la rédaction ou la réalisation des scénarios et la publication du présent rapport. Les résultats sont donc le reflet de l’état d’un site au moment du test.

Comité de suivi

Dès le début, un comité a été formé afin de superviser la réalisation du projet. Ce comité, qui comptait initialement quatre personnes, s’est finalement composé comme suit, après un désistement :

Anne Pelletier, experte en accessibilité du Web, en gestion de l’information et en architecture des données, et utilisatrice de technologies d’adaptation;
Olivier Collomb d’Eyrames, représentant de personnes ayant tout type de limitation, ayant été impliqué dans plusieurs projets visant l’amélioration de l’accessibilité du Web et autres dossiers touchants aux technologies de l’information;
Pascale Marceau, représentante de la COPHAN, coordonnatrice des projets Utilisabilité du Web pour la CDPDJQ, l’AMT et l’AERDPQ, et webmestre du site Web de la COPHAN.

Le comité s’est réuni en début de projet et a échangé par courriel à divers stades clés de celui-ci.

Choix des sites Web

Les sites Web ont été sélectionnés à la suite d’une consultation de l’ensemble des membres de la COPHAN qui ont identifié des sites pouvant être utiles pour les personnes ayant des limitations. Douze sites Web ont été retenus : des sites d’organisations assujetties aux standards sur l’accessibilité du Web et des sites d’organisations publiques, parapubliques et privées non assujetties.

Organisations assujetties : Emploi Québec, ministère du Travail, de l’Emploi et de la Solidarité sociale, Office de la protection du consommateur, Hydro-Québec, Musée de la civilisation de Québec.
Organisations non assujetties :
- Publiques et parapubliques : Réseau de transport de la Capitale, Ville de Montréal.
- Privées : IGA, Jean Coutu, Tou.tv, La Presse.ca, Walmart.

Rédaction des scénarios

Selon les besoins du présent projet, un ou deux scénarios ont été élaborés par site. Rédigés dans un langage simple, ils se voulaient concrets et réalistes afin d’aider les participants à se mettre dans la situation de recherche d’information proposée. Bien que la durée puisse grandement varier selon les individus et les scénarios, nous avons tenté d’élaborer des scénarios réalisables en moins de 8 minutes. Ceux-ci ont été préalablement testés par des personnes avec ou sans limitation afin d’éliminer les risques d’incompréhension ou l’impossibilité de réussite en moins de 8 minutes par des personnes utilisant régulièrement le Web. C’est aussi sur les pages visées par les scénarios que se sont, lorsqu’applicables, déroulés les tests de conformité.

Tests de conformité aux standards SGQRI 008

La firme Ekloweb travaille depuis plusieurs années selon les normes internationales et québécoises d’accessibilité du Web. La COPHAN lui a donc confié le mandat d’effectuer l’analyse technique et fonctionnelle de deux pages sur chacun des 12 sites, soit la page d’accueil et une page rencontrée lors de la réalisation du scénario. La firme a déclaré cet échantillon suffisant pour une généralisation de l’évaluation à l’ensemble du site. Les sites assujettis aux standards ont été évalués sur la totalité des 109 critères du SGQRI 008-01, ainsi que sur la totalité des 48 critères du SGQRI 008-02 pour les documents téléchargeables.

Pour les sites non assujettis, les tests ont été effectués selon les règles du W3C, soit les WCAG 2.0 niveau A. Seul Walmart a été comparé aux WCAG niveau AA, puisqu’elle s’est engagé à atteindre ce niveau.

Considérant la grande ressemblance entre les critères des deux normes, dans le présent rapport, la COPHAN ne fait pas de distinction de résultats en fonctions de celles-ci. Notons également que seuls les critères présents sur les pages identifiées ont été considérés; les résultats relatent donc le pourcentage de conformité des éléments présents sur les pages testées.

Tests d’utilisabilité

Les tests d’utilisabilité sont une stratégie d’observation qui permet de porter un regard qualitatif sur un site en identifiant les méthodes de recherche, les perceptions et les préférences des utilisateurs ainsi qu’en évaluant leur compréhension de l’information trouvée.

Recrutement des participants

Le choix des participants a permis de s’assurer d’une bonne représentation des divers profils d’utilisateurs, et non uniquement « d’experts » de la navigation Web. Les 12 participants ayant des limitations fonctionnelles ont été choisis par la COPHAN selon les caractéristiques suivantes :

type de limitation fonctionnelle :
- Visuelle : quatre utilisateurs de lecteur d’écran (avec synthèse vocale ou plage braille) et deux utilisateurs de logiciel de grossissement d’écran (Note : ce logiciel propose également une synthèse vocale que les testeurs ont parfois utilisée pour naviguer);
- Compréhension de l’écrit ou de l’architecture du site : deux personnes sourdes ayant comme langue première la langue des signes québécoise, une personne ayant un trouble de langage et une personne autiste;
- Intellectuelle : deux personnes ayant une limitation intellectuelle légère à modérée;
- Motrice : une personne ayant une limitation au niveau de sa dextérité fine.
habitude à naviguer et capacité à réussir une tâche de manière autonome :
- 7 participants naviguent plus de trois heures par jour, 2 entre 1 et 2 heures par jour et trois participants, quelques fois par semaine;
- Tous utilisent Internet pour une multitude d’actions : informationnelles, transactionnelles, de loisir, éducatives, professionnelles, etc.
compréhension du français écrit :
- Sur une échelle de 1 à 6 de leur niveau de compréhension du français écrit, les participants se sont tous attribué, dans une démarche d’autodétermination, une note supérieure à 3, seuil minimal identifié.

À des fins de comparaison, notamment pour le temps de réalisation, un groupe de 4 testeurs n’ayant pas de limitations déclarées a réalisé les tests. Les mêmes critères de sélection ont été appliqués, mis à part la classification selon la limitation.

Observation des participants

Pour la plupart des scénarios proposés, plusieurs chemins de navigation étaient possibles. Rappelons que le projet ne visait pas à déterminer le meilleur chemin emprunté, mais à décrire les difficultés vécues par les utilisateurs selon leur fonctionnement propre.

Pour limiter l’influence du lieu, les tests se sont déroulés une personne à la fois, et toujours au même endroit, aux bureaux de la COPHAN. Pour éviter les biais attribuables à des causes externes au site, les participants devaient, lorsqu’applicable, apporter leurs propres équipements informatiques, notamment leurs aides techniques. Pour les autres participants, les tests ont été réalisés sur Windows, avec la dernière version d’Internet Explorer ou de Firefox, selon la préférence du testeur.

Une seule et même observatrice, Pascale Marceau, dirigeait les tests afin :

de minimiser le stress associé au fait d’être observé;
d’assurer la constance de l’observation et de l’interprétation.

Après lecture du scénario par l’observatrice, chacun des tests dirigés débutait sur la page d’accueil du site identifié et se déroulait entièrement sur le site (à l’exception de la recherche d’itinéraire du site d’une société de transport). L’utilisateur avait pour consigne de verbaliser toute perception et tout choix d’action, ce qui était noté par l’observatrice.

Contrairement à une approche sans intervention, le choix fut de porter assistance au besoin. Dans le cadre de tests d’utilisabilité avec des personnes qui ont différents types de limitations fonctionnelles, l’utilisabilité de l’information ou du document recherché est aussi cruciale que le chemin pour y arriver : un abandon du processus rendra impossible l’évaluation, par exemple, d’un PDF téléchargeable qui pourrait être non accessible aux personnes naviguant avec un logiciel de lecture d’écran, d’un texte trop long pour être lu complètement par une personne ayant une limitation cognitive ou dont le niveau de langue serait trop soutenu pour être compris par les participants ayant une limitation intellectuelle, etc.

Quantification de l’utilisabilité

« If you can’t measure it, you can’t improve it »

Un scénario est dit « réussi » si le participant trouve l’information sans assistance, et s’il est en mesure de la comprendre et de la réutiliser. Sinon, il est défini comme « échec », avec ou sans abandon.

Nous avons choisi de mesurer :

l’efficacité : atteinte de l’objectif selon le résultat recherché, c’est-à-dire non seulement avoir trouvé l’information, mais aussi être en mesure de la réutiliser, ou du moins, de l’expliquer;
l’efficience : ressources nécessaires pour atteindre l’objectif, notamment le temps mis par l’utilisateur pour réaliser la tâche ainsi que la demande de soutien; et
la satisfaction : appréciation de l’expérience utilisateur, par l’attribution d’une note de 0 à 5 à la fin de chaque scénario et par l’analyse des remarques formulées lors du test et à la fin de chaque scénario.

L’ensemble des remarques des utilisateurs ont été relevées par l’observatrice durant les tests. Ces remarques ont ensuite été classées selon les catégories suivantes :

Structure de l’information : l’information recherchée ne se trouve pas à l’endroit attendu, la structure du site n’est pas claire, la surcharge informationnelle est importante, etc.
Qualité de l’information : l’information trouvée n’est pas claire ou pas pertinente, elle est périmée, la fonction de recherche ne permet pas de discriminer adéquatement les résultats, l’utilisateur éprouve de la difficulté à réutiliser l’information, etc.
Qualité visuelle : l’affichage (contrastes, tailles de police, taille des images, etc.) ne permet pas une identification efficace de l’information.
Interopérabilité avec les aides techniques : des problèmes sont liés à l’utilisation de lecteurs d’écran ou de logiciels de grossissement.
Programmation : des erreurs de programmation nuisent à la navigation, tels que des titres mal balisés, des boutons non activables ou non étiquetés, des visionneuses non interactives, des méthodes de recherches non constantes, des PDF non accessibles, etc.
Erreurs ponctuelles : des erreurs perturbent la bonne compréhension de l’information, comme des fautes d’orthographe, des mots oubliés ou dédoublés, etc.

Quelques définitions

Taux de conformité : pourcentage de critères satisfaits (SGQRI ou WCAG 2.0).
Note moyenne de satisfaction : moyenne des notes attribuées par les utilisateurs, sur une échelle de 0 à 5, 5 étant la note la plus élevée.
Taux de réussite : pourcentage d’utilisateurs qui ont réussi le scénario de manière autonome.
Temps de réalisation : temps mis par un utilisateur pour réaliser un scénario. Il est exprimé en minutes et secondes (mm : ss).

Coefficient de corrélation : mesure, selon le cas, la relation entre le taux de conformité et la note de satisfaction ou entre le temps de réalisation et la note de satisfaction. Ce coefficient est compris entre -1 et +1.

Observations

La conformité d’un site ne garantit pas la satisfaction et la réussite de l’utilisateur

Tableau 1 : Présentation du taux de conformité et de la note moyenne de satisfaction par organisation

Remarque : dans le tableau présenté ci-dessous, la note moyenne de satisfaction a été convertie en une note sur 100.

SGQRI 008

Orgnisations	Taux de conformité	Note moyenne de satisfaction
Hydro-Québec	79 %	70 %
Emploi Québec	74 %	40 %
Travail, Emploi et de la Solidarité sociale	65 %	38 %
Réseau transport la Capitale	61 %	66 %
Musée civilisation de Québec	59 %	54 %
Ville de Montréal	53 %	64 %
Office Protection du consommateur	50 %	74 %

WCAG 2.0

Organisations	Taux de conformité	Note moyenne de satisfaction
Walmart	81 %	44 %
IGA	52 %	68 %
Jean Coutu	53 %	70 %
Tou.tv	47 %	44 %
La Presse.ca	45 %	46 %

D’après les résultats des tests, le coefficient de corrélation moyen entre le taux de conformité (SGQRI ou WCAG 2.0) et la note moyenne de satisfaction (basée sur un ou deux scénarios par site, selon le cas) est faible (-0,23).

En effet, le site qui a obtenu le meilleur taux de conformité aux standards SGQRI 008-01 et 02 est Hydro Québec, avec 79 % de critères satisfaits. Ce site a également obtenu la deuxième note moyenne de satisfaction la plus élevée, soit 3.5/5 (70 %). Hydro Québec est suivi de près par Emploi Québec, qui a obtenu un taux de conformité de 74 %, mais qui n’occupe toutefois que l’avant dernière place du classement des notes moyennes de satisfaction avec 2/5 (40 %). Le site du ministère du Travail, de l’emploi et de la Solidarité sociale, quant à lui, arrive bon troisième en termes de conformité avec un taux de 65 %, mais n’obtient qu’une note moyenne de satisfaction de 1.9/5 (38 %). Ajoutons que le site qui a le moins bien performé en termes de conformité est celui de l’Office de la protection du consommateur, qui pourtant, obtient la plus haute note moyenne de satisfaction, soit 3.7/5 (75 %).

Les personnes ayant une limitation visuelle qui utilisent des aides techniques sont directement touchées par le respect des normes de conception Web. On pourrait ainsi s’attendre à ce que leurs résultats soient plus significativement corrélés. Toutefois, la moyenne des notes de satisfaction des 6 participants ayant une limitation visuelle est semblable aux données générales : 3/5 (60 %) pour Hydro Québec, 2.5/5 (50 %) pour Emploi Québec et 1.8/5 (36 %) pour le ministère du Travail. Concernant l’Office de la protection du consommateur, la moyenne des notes de satisfaction est tout aussi élevée, soit 3.8/5 (76 %).

Les constatations sont semblables pour les sites qui ont été testés avec les WCAG 2.0. Le site de Walmart est le champion toutes catégories en termes de conformité avec un taux de 81 %. Toutefois, il arrive au bas du classement du niveau de satisfaction avec une note moyenne de 2.2/5 (44 %). Le site de La Presse.ca obtient, quant à lui, un taux de conformité aux WCAG de 45 % et une note moyenne de satisfaction de 2,3/5 (46 %), soit sensiblement la même note que Walmart, pour un taux de conformité pourtant significativement différent.

Tableau 2 : Présentation du taux de conformité et du taux de réussite par organisations

SGQRI 008

Organisations	Taux de conformité	Taux de réussite
Hydro-Québec	79 %	59 %
Emploi Québec	74 %	17 %
Travail, Emploi et de la Solidarité sociale	65 %	25 %
Réseau transport la Capitale	61 %	58 %
Musée civilisation de Québec	59 %	17 %
Ville de Montréal	53 %	58 %
Office Protection du consommateur	50 %	66 %

WCAG 2.0

Organisations	Taux de conformité	Taux de réussite
Walmart	81 %	38 %
IGA	52 %	54 %
Jean-Coutu	53 %	71 %
Tou.tv	47 %	33 %
La Presse.ca	45 %	39 %

D’après les résultats des tests, le coefficient de corrélation entre le taux de conformité (SGQRI ou WCAG 2.0) et le taux de réussite (basé sur un ou deux scénarios par site, selon le cas) est sensiblement le même (-0.25).

Le taux de réussite le plus élevé appartient à Jean-Coutu avec 71 %. Pourtant, ce site n’a obtenu un taux de conformité que de 53 %. Ensuite, les deux sites qui affichent le taux de réussite le plus bas, soit 17 %, sont le Musée de la civilisation de Québec et Emploi Québec. Pourtant, ces deux sites se retrouvent dans la demie supérieure de la distribution avec respectivement 59 % et 74 % de taux de conformité.

Par contre, un lien entre le taux de conformité et la note moyenne de satisfaction avec le taux de réussite est établi grâce à l’analyse qualitative, c’est-à-dire à travers les remarques émises par les participants durant les tests. Celles-ci mettent en évidence l’impact d’une bonne programmation sur le niveau de satisfaction et sur la réussite autonome des participants.

Pour chaque scénario, les remarques émises par les participants ont été prises en note et classées par catégories. Voici la répartition, par catégories, des remarques relevées pour des tâches ayant obtenues une note moyenne de satisfaction faible (1 ou 2 sur 5). Celles-ci illustrent les types d’obstacles qui ont causé les plus grandes insatisfactions et menés à un échec, voire à un abandon.

Graphique 1 : Répartition, par catégories, des remarques formulées lors de scénarios ayant obtenus une faible note moyenne de satisfaction

Le graphique ci-dessous expose les remarques formulées par les testeurs réparties en 7 catégories : programmation (36 %), structure de l’information (23 %), interopérabilité (16 %), qualité de l’information (13 %), présentation visuelle (9 %), erreurs ponctuelles (3 %) et autres (1 %).

Graphique 1

Les résultats montrent que les obstacles les plus fréquents (36 %) rencontrés au cours des tâches ayant obtenu une faible note moyenne de satisfaction (1 ou 2 sur 5) sont liés aux erreurs de programmation qui nuisent à la navigation. Les erreurs dues aux problèmes d’interopérabilité entre le site et l’aide technique utilisée (16 %) sont aussi fréquemment causées par des erreurs de programmation.

Toutefois, comme les résultats le montrent, d’autres facteurs interviennent également de manière significative : structure de l’information non intuitive, avec 23 % des remarques, et mauvaise qualité de l’information (fait de ne pas être en mesure de donner du sens à l’information trouvée), avec 13 % des remarques formulées.

Les tests effectués dans le cadre de ce projet ont démontré que l’ensemble des participants, toutes limitations confondues, privilégient un site bien structuré et intuitif. Une nuance s’applique aux personnes ayant une limitation visuelle, plus durement touchées par une « mauvaise » programmation, qui ont considérablement fait augmenter le nombre de remarques relatives aux problèmes de programmation. Toutefois, elles ont aussi démontré une grande capacité d’adaptation dans les sites dotés d’une structure intuitive, et ce, au-delà des difficultés techniques. À l’inverse, chercher des informations dans un site techniquement fonctionnel, mais sans aucune logique apparente, est un véritable casse-tête pour l’ensemble des participants.

Un site qui permet une navigation autonome est plus satisfaisant

On constate un lien évident entre la réussit

Un site qui permet une navigation autonome est plus satisfaisant

On constate un lien évident entre la réussite autonome et la satisfaction de la personne. En effet, les tâches réussies de manière autonome obtiennent une note moyenne de satisfaction de 3,6/5, tout site et tout participant confondu, contre une note de 2,2/5 pour les tâches non réussies.

Ainsi, les testeurs ont accordé une note de satisfaction de 38 % plus élevée lorsqu’ils ont réussi la tâche de manière autonome. Cet écart monte à 47 % pour les testeurs ayant une limitation visuelle qui utilisent une aide technique. Si l’on considère les notes de satisfaction spécifiques au fait d’avoir été aidé ou non, le lien est encore plus marquant : les participants ont accordé une note 66 % plus élevée lorsqu’ils n’ont pas eu besoin d’aide, passant à 88 % pour les personnes ayant une limitation visuelle.

Les personnes ayant une limitation visuelle sont quotidiennement confrontées au fait de devoir obtenir de l’aide sur le Web, que ce soit pour comprendre un comportement soudain et inexplicable de leur aide technique, pour entrer des informations aux bons endroits, pour savoir où mène un lien mal identifié, etc. Lorsqu’un site leur permet de réaliser l’ensemble des tâches de manière autonome, celui-ci se hisse rapidement en tête de liste de leurs préférences. Les remarques formulées lors des tests prouvent que le niveau d’autonomie a même un impact important sur leurs choix de consommation : par exemple, une pharmacie qui diffuse une circulaire en ligne accessible et intuitive sera préférée à une autre moins performante à ce niveau, et ce, indépendamment des spéciaux, de la réputation ou des habitudes.

Plus une tâche est longue à réaliser, moins elle est appréciée

Rappelons que selon les sites, un ou deux scénarios devaient être réalisés.
Les deux sites qui obtiennent le meilleur temps moyen de réalisation pour leur premier scénario sont l’Office de la protection du consommateur et Hydro-Québec. Ces sites obtiennent aussi les meilleures notes moyennes de satisfaction pour ces mêmes scénarios, soit 3.6/5 et 3.5/5. Les deux sites qui obtiennent les meilleurs temps moyens de réalisation pour leur second scénario sont le Réseau de transport de la Capitale et Jean Coutu, qui obtiennent aussi les meilleures notes moyennes de satisfaction, soit respectivement 4,3/5 et 4,1/5.

Les résultats des premiers scénarios démontrent une forte corrélation entre le temps de réalisation et la note de satisfaction, avec un coefficient de 0,73. Les résultats des seconds scénarios réalisés sur les différents sites présentent sensiblement le même phénomène, mais avec un coefficient de corrélation plus modéré (0,51).

La familiarité a une incidence directe sur l’expérience de l’utilisateur

Les résultats présentés dans la section précédente montrent que le lien entre le temps de réalisation et la note de satisfaction est moins significatif pour le second scénario que pour le premier. Cette différence démontre, entre autres, l’impact de la familiarisation des usagers avec un site : lors du second scénario, soit ils obtiennent de meilleures performances, soit ils accordent une note moyenne de satisfaction plus élevée. En effet, une personne qui connait préalablement un site est plus efficace.

Il est donc essentiel pour une organisation de comprendre que tout changement apportés sur le site, aussi subtil soit-il, influence grandement les habitudes de navigation des utilisateurs, et les conséquences sont bien plus grandes pour les personnes qui ont des limitations.

Les personnes ayant des limitations ont généralement eu besoin de plus du double de temps pour réaliser une tâche que les personnes se déclarant sans limitation

Les résultats démontrent que, mis à part trois scénarios dont le temps moyen de réalisation est très semblable pour les 2 groupes d’utilisateurs (avec et sans limitations) pour réaliser les 17 autres scénarios, les participants avec limitations ont eu besoin, en moyenne, de 56 % plus de temps que les 4 participants du groupe témoin (sans limitation). Puisque le temps de réalisation tient compte de la réussite ou de l’abandon, nous pouvons affirmer qu’il est non seulement plus complexe et long de réaliser une tâche avec une limitation, mais aussi que les personnes ayant des limitations doivent faire preuve de beaucoup plus de patience et de persévérance que les personnes sans limitation.

Il est intéressant de noter que les trois scénarios ayant affiché un temps moyen de réalisation comparable ont été exécutés lors d’un second scénario. Il est ainsi possible d’établir un lien entre la vitesse de réalisation d’une tâche et la familiarisation de la personne avec un site.

L’effet d’entraînement sur les organisations non assujetties n’est pas démontré

Les organismes assujettis aux standards québécois, auxquels s’ajoute Walmart qui s’engage à se conformer à la norme WCAG 2.0, ont obtenu un taux moyen de conformité de 68 %. Par ailleurs, les organisations non assujetties qui ont été testées obtiennent un taux moyen de conformité de 51,8 %, soit un écart important de 16,2 points de pourcentage.

Si nous ne pouvons certifier que les standards québécois sur l’accessibilité du Web n’ont aucun effet d’entraînement pour la mise en accessibilité des sites des organisations non assujetties, nous pouvons tout de même affirmer qu’ils ne sont pas suffisants pour atteindre un niveau d’accessibilité effectif.

e autonome et la satisfaction de la personne. En effet, les tâches réussies de manière autonome obtiennent une note moyenne de satisfaction de 3,6/5, tout site et tout participant confondu, contre une note de 2,2/5 pour les tâches non réussies.

Plus une tâche est longue à réaliser, moins elle est appréciée

La familiarité a une incidence directe sur l’expérience de l’utilisateur

Les personnes ayant des limitations ont généralement eu besoin de plus du double de temps pour réaliser une tâche que les personnes se déclarant sans limitation

L’effet d’entraînement sur les organisations non assujetties n’est pas démontré

Conclusion et recommandations

En vue de la révision des standards québécois sur l’accessibilité du Web, SGQRI 008, prévue en 2016, la COPHAN a mené un projet d’évaluation de différents sites Web. Ce projet, intitulé Accessibilité du Web : De la standardisation à l’utilisabilité, avait pour objectifs d’évaluer l’application des standards par des organisations assujetties, de définir leurs limites, ainsi que d’observer leur effet d’entraînement sur des organisations non assujetties.

Ce projet a permis de démontrer que, si les standards représentent bel et bien un moyen de faciliter l’accès à l’information, ils ne sont cependant pas une fin en soi. La conception et le développement d’un nouveau site, tout comme la mise en accessibilité d’un site existant, ne saurait se limiter à la simple application de bonnes pratiques (ce que l’on appelle généralement « l’accessibilité »), mais doit susciter une réflexion plus globale sur son utilisabilité.

Les difficultés rencontrées par les personnes ayant des limitations permettent d’identifier, bien qu’à différents degrés, les obstacles auxquels tous peuvent se heurter. De plus, si l’accessibilité d’un site, dont la mise en œuvre revient aux professionnels, permet de prévenir une grande partie de ces obstacles, son utilisabilité, quant à elle, est déterminée par les usagers.

C’est pourquoi, s’il veut concrétiser sa volonté exprimée de permettre un véritable accès à l’information et aux services pour l’ensemble de la population, y compris pour les personnes ayant des limitations, l’État québécois doit soutenir une véritable culture de l’accessibilité et de l’utilisabilité, notamment pour les personnes ayant des limitations, en s’inspirant, par exemple, de démarches telles que celles misent en place par les États-Unis (CF. www.usability.gov, Plain writing Act, etc.).

Dans cette perspective, la COPHAN recommande au Secrétariat du Conseil du Trésor, instance responsable de la révision des standards québécois :

De se rallier aux normes internationales, soit les WCAG 2.0, dans un souci de simplification et d’harmonisation ainsi que pour élargir le bassin de professionnels possédant déjà ces compétences ou pour encourager le plus grand nombre à les acquérir;
D’étendre l’application des standards aux organisations publiques, parapubliques et municipales;
D’ajouter des exigences d’accessibilité aux applications mobiles développées par les ministères et organisations publiques, parapubliques et municipales;
D’appliquer les mêmes exigences d’accessibilité pour les sites Web et pour les applications des organisations privées désirant contracter avec l’État québécois;
De promouvoir les normes d’accessibilité auprès des acteurs privés et de la société civile;
D’assurer la présence de capsules en langue des signes et de la vidéo description sur les sites Web et applications mobiles.

En complément à la démarche de révision des standards, la COPHAN demande au Secrétariat du Conseil du Trésor et au dirigeant principal de l’information (DPI) des échanges dans le but notamment de :

Inclure dans la Stratégie numérique québécoise des enjeux relatifs à l’utilisabilité, notamment en promouvant l’implication de personnes ayant différentes limitations à toutes les étapes de développement ou de mise en accessibilité des sites Web et applications mobiles;
Apporter des ajustements aux programmes de formations destinés aux « professionnels du numérique », en ajoutant l’utilisabilité au volet accessibilité;
Mettre en place des programmes de subvention pour favoriser la recherche et le développement sur l’utilisabilité, en appui à l’accessibilité;

Renforcer et développer les formations destinées aux populations éloignées du numérique, notamment aux personnes ayant des limitations au plan visuel, auditif, cognitif, etc. (par exemple pour les personnes ayant une déficience intellectuelles et celles ayant un trouble du spectre de l’autisme, Charte sur les technologies inclusives).

Annexe : Présentation des résultats

Rappel

Ministère du Travail, de l’Emploi et de la Solidarité sociale

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Aide financière » et du document PDF téléchargeable « Plan d’action à l’égard des personnes handicapées 2012-2013 ».

Le site du ministère du Travail, de l’Emploi et de la Solidarité sociale répond à 68 % des critères du SGQRI 008-01 pour le contenu des pages Web et à 61 % du SGQRI 008-02 pour les documents téléchargeables. Les cas de non-conformité au 008-01 ont été identifiés dans : le contenu non textuel, la perception de la structure, les formulaires, les tableaux de données, les caractéristiques sensorielles, l’utilisation de la couleur et du son, la navigation au clavier, les délais de consultation et d’interaction, le soutien à la navigation, la lisibilité, la navigation cohérente, la prévention des erreurs et la compatibilité avec les outils d’adaptation. Les cas de non-conformité au 008-02 ont, pour leur part, été identifiés dans : les dispositions générales, la perception de la structure, les tableaux de données et le soutien à la navigation.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le scénario à réaliser était le suivant :

Vous devez trouver les montants de prestation d’aide sociale auxquels une personne a droit.

Ce scénario a obtenu une note moyenne de satisfaction de 1,9/5. On compte 3 scénarios réussis et 9 échecs, donc 4 abandons. Le temps moyen pour réaliser la tâche a été de 10 : 41 minutes. En règle générale, les échecs ont été causés par une surcharge informationnelle, tant dans l’ensemble du site que sur une même page, et par une incompréhension de la terminologie utilisée.

De manière quasi unanime, les testeurs ont souligné un manque de clarté, une difficulté à identifier le contenu pertinent au milieu de la profusion d’informations, ce qui a amené un des participants à comparer ce site à une pizza. Souvent, les testeurs ont été découragés au premier coup d’œil, ce qui fut notamment le cas lorsqu’un participant a ouvert par hasard le Manuel d’interprétation normative.
La taille des caractères et l’impossibilité de les grossir avec le navigateur a aussi posé des problèmes.
La multitude d’expressions nuit également à la compréhension (ex. : assistance sociale, aide sociale, sécurité du revenu, aide de dernier recours, etc.) De plus, plusieurs ont souligné que la fonction de recherche manque de précision : la discrimination est insuffisante (ex. : l’expression « derniers recours » donne 2300 résultats).

Les cas de non-conformité aux standards ont posé de réels problèmes : des erreurs dans la hiérarchie des titres nuisent à la capacité des participants à comprendre la structure de la page, des pages sans titre (balise « Title ») rendent difficiles l’identification de la page courante, des documents PDF sans titre obligent la personne à les parcourir pour savoir s’ils sont susceptibles de contenir l’information recherchée, une série de problèmes dans le document PDF, comme l’absence de balise, crée de nombreux problèmes de compatibilité avec les aides techniques (ex. : tableaux de données qui deviennent même parfois indétectables).

Emploi-Québec

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Organiser sa recherche d’emploi » et du document PDF téléchargeable « Guide pratique de recherche d’emploi ».

Le site d’Emploi-Québec répond à 89,5 % des critères du SGQRI 008-01 pour le contenu des pages Web et à 59 % des critères du SGQRI 008-02 pour les documents téléchargeables. Les cas de non-conformité au 008-01 ont été identifiés dans : les exigences relatives au contenu non textuel, la présentation visuelle du texte, la navigation au clavier, le soutien à la navigation, la navigation cohérente et la compatibilité avec les outils d’adaptation. Les cas de non-conformité au 008-02 ont, pour leur part, été identifiés dans : les dispositions générales, le contenu non textuel, la perception de la structure, l’utilisation de la couleur et du son et le soutien à la navigation.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le scénario à réaliser était le suivant :

Vous devez trouver les coordonnées du Service d’aide à l’emploi pour personnes handicapées (SEMO) du Saguenay. Votre ami vous conseille d’aller sur le site d’Emploi Québec pour les trouver.

Ce scénario a obtenu une note moyenne de satisfaction de 2/5. On compte 2 scénarios réussis et 10 échecs, dont 2 abandons. Le temps moyen pour réaliser la tâche a été de 7 : 41 minutes.

Non seulement tous les testeurs ont éprouvé des difficultés à trouver le répertoire, mais une erreur de classification de l’information dans ce dernier a aussi causé l’échec de 3 participants qui ont ainsi cru qu’il n’y avait pas de SEMO à Saguenay. De plus, la fiche de ce SEMO comporte des erreurs de contenu. Une révision et une mise à jour de l’information sont donc nécessaires.

La plupart des testeurs se sont heurtés à une multitude d’informations présentées en page d’accueil et à l’imprécision des menus. De plus, le jargon utilisé sur le site est compliqué, les personnes n’étant pas familières avec des expressions comme « Organismes spécialisés en employabilité ».
L’ergonomie de ce site est également problématique. En effet, le scénario nécessitait de faire une recherche dans un répertoire des services d’aide à l’emploi : non seulement celui-ci est difficile à repérer sur la page, mais une partie des testeurs ont dû procéder à plusieurs essais/erreurs avant d’en saisir le fonctionnement.

Les cas de non-conformité aux standards ont causé de réelles difficultés : textes alternatifs manquants dans les carrousels (ex. : la synthèse vocale énonce « Image 0, Image 1… »), liens mal libellés ou non explicites (ex. : « pour en savoir plus »), documents téléchargeables non identifiés (ex. : un PDF s’ouvrent dans une nouvelle fenêtre sans que l’usager ne puisse s’y attendre), sous-menus qui se déroulent sans avertissement laissant l’utilisateur de lecteur d’écran dans l’incompréhension, incapable de savoir si le contenu s’est affiché ou non, etc. Notons également que l’absence d’une version de rechange pour un document téléchargeable non accessible cause de nombreuses frustrations : la personne le recherche depuis longtemps pour se buter, une fois trouvé, à un contenu illisible en raison de contrastes insuffisants ou d’incompatibilité avec un lecteur d’écran.

Office de la protection du consommateur

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Consommateurs » et du document PDF téléchargeable « Plan d’action à l’égard des personnes handicapées 2013-2015 ».

Le site de l’Office de la protection du consommateur répond à 72 % des critères du SGQRI 008-01 pour le contenu des pages Web et à 28 % des critères SGQRI 008-02 pour les documents téléchargeables. Les cas de non-conformité au 008-01 ont été identifiés dans : les exigences relatives au contenu non textuel, la perception de la structure, l’ordre de lecture, l’utilisation de la couleur et du son, la navigation au clavier, le soutien à la navigation et la navigation cohérente. Les cas de non-conformité au 008-02 ont, pour leur part, été identifiés dans : les dispositions générales, les contenus non textuels, la perception de la structure, les tableaux de données, l’ordre de lecture, l’utilisation du son et de la couleur, le soutien à la navigation et la lisibilité.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le premier scénario à réaliser était le suivant :

Vous réalisez que pour certains produits, votre épicerie vous a chargé plus cher que le prix indiqué sur les tablettes. Puisque cela arrive souvent à cet endroit, vous allez sur le site de l’Office de la protection du consommateur pour voir quels sont vos recours dans cette situation.

Ce scénario a obtenu une note moyenne de satisfaction de 3,6/5. On compte 7 scénarios réussis et 5 échecs. Le temps moyen pour réaliser la tâche a été de 5 : 39 minutes.

Le deuxième scénario était le suivant :

Vous venez d’acheter une cafetière, mais elle ne fonctionne pas. Vous voulez vous faire rembourser, mais le commerçant refuse. Vous voulez porter plainte contre le commerçant, donc vous allez sur le site de l’Office de la protection du consommateur pour savoir comment faire.

Ce scénario a obtenu une note moyenne de satisfaction de 3,7/5, pour un taux de réussite de 73 %. Parmi les personnes qui ont échoué, une seule a demandé de l’assistance. Les échecs ont surtout été causés par une mauvaise compréhension de l’information plutôt que par une difficulté à la trouver. Le temps moyen pour réaliser la tâche a été de 5 : 37 minutes.

De manière générale, ce site a été apprécié par les testeurs, notamment la clarté et la précision de l’information. Bien que les caractères soient petits, leur taille peut être ajustée par l’utilisateur. La section « Consommateurs » permet de s’orienter rapidement dans les sujets. La COPHAN souligne aussi, à titre de bonne pratique, l’ouverture aux commentaires et le souci de répondre aux besoins informationnels de la personne (CF. : « Vous n’avez pas trouvé réponse à vos questions? Nous vous invitons à nous téléphoner » en bas de page).

Toutefois, les deux scénarios ont mis en évidence le même problème : les testeurs ont tous terminé la tâche avec satisfaction, mais ils étaient cependant incapables d’expliquer ce qu’il faut faire pour porter plainte : ils auraient ainsi besoin de téléphoner à l’OPC. À plusieurs reprises, les testeurs ont mal compris les nuances entre deux informations, comme entre « Porter plainte » et « Remplir une mise en demeure » : Est-ce la même chose? Dois-je opter pour la trousse d’information, les petites créances, la mise en demeure?

« Je suis allé sur porter plainte parce que je n’ai trouvé rien d’autre dans le plan du site!
Je trouve ça vite, je n’en suis pas là dans la réflexion. »

Parmi les problèmes plus spécifiques, notons que tous les testeurs ont commencé leur recherche dans le menu de gauche de la section « Consommateurs » dont la place imposante prise par ce dernier a nui à leur capacité d’accéder au contenu principal, où se trouve pourtant clairement la réponse (Erreur de prix à la caisse). Cette difficulté a été rencontrée autant par les personnes qui pouvaient voir la page dans son ensemble que par les utilisateurs de lecteur d’écran qui ont lu tous les liens des deux onglets avant d’accéder au contenu principal. Pour les personnes ayant des problèmes de dextérité, il est difficile de maintenir le menu actif ou de cliquer sur le bon lien sans glisser.

Quelques libellés de liens ne sont pas clairs (ex. : « cliquer ici pour sous-page » ou encore « Aide-mémoire » dans une page dont le contenu principal compte seulement trois liens sans texte). Le contenu principal de certaines pages comporte de nombreux liens, sans texte, ce qui crée beaucoup de répétitions avec le menu de gauche et cause un alourdissement de la lecture.

Malgré le bon taux de conformité du site, beaucoup de problèmes rencontrés par les testeurs pourraient être réglés en appliquant correctement les standards : de mauvais contrastes nuisent notamment aux usagers qui choisissent un affichage en contrastes inversés, la visionneuse de la page « Consommateurs » pose des problèmes aux utilisateurs de lecteur d’écran, des documents PDF ne sont pas accessibles, etc. On note également des problèmes de hiérarchie des titres et de cohérence (ex. : utilisation de liens, de boutons ou de titres pour des informations de même nature).

« Le menu de gauche a deux catégories, la première (Information par biens ou services) en onglet, la deuxième (Biens de consommation) en bouton. Les sous-catégories sont en boutons et elles, elles s’ouvrent en liens! J’ai l’impression que tout est du même niveau d’information, il n’y a pas de sous-catégories. »

Quelques erreurs ponctuelles ont également été identifiées, certaines nuisant surtout à la navigation avec un lecteur d’écran :

La balise « Title » de la page « Consommateur » ne contient pas le nom du site;
Les logos de la zone de partage (FB, Twitter, etc.), bien que détectés par le lecteur d’écran, ne sont pas identifiés comme étant cliquables;
Dans le texte « Section pour les commerçants », il n’y a pas d’espace entre « les » et « commerçants », ce qui rend la compréhension difficile avec une synthèse vocale;
ZoomText saute certaines informations dans les pages.

Hydro-Québec

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Bilan des interruptions – Montérégie », « Résidentiel » et du document PDF téléchargeable « Plan d’action de développement durable 2015-2020 ».

Le site d’Hydro Québec répond à 83 % des critères du SGQRI 008-01 pour le contenu des pages Web et à 74 % des critères du SGQRI 008-02 pour les documents téléchargeables. Les cas de non-conformité au 008-01 ont été identifiés dans : le contenu non textuel, la perception de la structure, les formulaires, l’utilisation de la couleur et du son, la présentation visuelle du texte, la navigation au clavier, le soutien à la navigation, la lisibilité, la navigation cohérente, la prévention des erreurs et la compatibilité avec les outils d’adaptation. Les cas de non-conformité au 008-02 ont, pour leur part, été identifiés dans : les dispositions générales, l’ordre de lecture, l’utilisation du son et de la couleur et la lisibilité.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le premier scénario à réaliser était le suivant :

Vous visitez le site d’Hydro-Québec pour en apprendre davantage sur le programme de remplacement des vieux réfrigérateurs pour les personnes à faible revenu.

Ce scénario a obtenu une note moyenne de satisfaction de 3,5/5. On compte 8 scénarios réussis contre 4 échecs, qui ont eu besoin d’explications sur la nature du programme afin de faire les recherches au bon endroit, soit « Économie d’énergie ». Le temps moyen pour réaliser la tâche a été de 5 : 04 minutes.

En dehors de quelques difficultés de compréhension, comme une confusion entre « Recyc-Frigo » et « Remplacement des vieux réfrigérateurs pour les personnes à faible revenu », les testeurs ont jugé l’information claire et précise. Le site est aussi doté d’un excellent moteur de recherche qui a permis la réussite de plusieurs testeurs qui, autrement, auraient été hésitants dans leur recherche.

Le principal obstacle se situe au niveau de la présentation du contenu. Par exemple, les catégories de critères d’admissibilité au programme de remplacement de vieux frigos sont présentées sous forme de liens et non dans un tableau simple : ce choix multiplie les actions requises pour accéder au contenu, ce qui complexifie la navigation.

Le deuxième scénario était le suivant :

Quand vous avez quitté votre logement ce matin, vous n’aviez pas d’électricité. Vous allez sur le site d’Hydro-Québec pour vérifier s’il y a toujours des pannes dans votre secteur.

Ce scénario a obtenu une note moyenne de satisfaction de 3,4/5, pour un taux de réussite de 50 %. Les 4 utilisateurs de lecteur d’écran font partie des 5 personnes qui n’ont pas trouvé l’information puisque la carte ne leur est pas accessible et que le tableau du bilan par régions n’est pas suffisamment précis pour donner l’information sur leur secteur. Le temps moyen pour réaliser la tâche a été de 5 : 40 minutes.

Le logiciel ZoomText a plus particulièrement rencontré des incompatibilités, soit en énonçant des termes incompréhensibles pour le testeur ou encore, en énonçant des caractères erronés, tels que « point d’interrogation » au lieu de « puce ». À certains endroits, le site ne transmet pas visuellement la possibilité d’action, comme des liens non soulignés. À certains endroits, l’écriture est très pixélisée lorsque grossie. De plus, lorsqu’à la suite d’un clic, l’information s’affiche trop bas dans la page, l’utilisateur du logiciel de grossissement ne perçoit pas le changement (l’apparition du nouveau contenu). Cela peut parfois mener à l’échec puisque la personne change de page en croyant qu’il ne se passe plus rien. Ajoutons des cas ou le logiciel ne lit que partiellement le texte, tel que dans la rubrique « Client » à gauche dans la page d’accueil où l’on perçoit uniquement « clients » sans la précision « résidentiels » ou « d’affaires ».

Certains problèmes résultent d’une mauvaise application des standards, notamment la carte « Info-Panne ». En l’absence d’une version alternative, son inaccessibilité pour les utilisateurs de lecteur d’écran constitue un problème majeur. Notons qu’il leur est possible d’entrer le code postal dans la carte, mais qu’il leur est impossible de percevoir les résultats qui apparaissent seulement visuellement. Bien qu’il y ait un bilan sous forme de tableau, celui-ci n’offre pas d’informations suffisamment précises, et plusieurs n’ont pas remarqué que les régions étaient cliquables, ce qui leur aurait permis d’avoir accès à plus de détails. Ajoutons que les lettres entre parenthèses après tout intitulé de régions nuisent grandement à la lecture avec une synthèse vocale. De plus, les contrastes utilisés dans la carte n’atteignent pas le seuil minimal, ce qui pose notamment des problèmes aux personnes ayant une limitation visuelle partielle. D’autres contrastes sont insuffisants, tels que des liens écrits en gris sur fond gris.

« C’est très bien la carte, mais elle doit être améliorée. Les contrastes sont mauvais et je ne comprends pas les pictogrammes utilisés. »

Même si les boutons sont bien utilisés, deux participants ont signalé que les boutons ne devraient pas être utilisés en dehors des formulaires, car ils rendent la navigation imprévisible avec un lecteur d’écran : hors formulaire, on leur préfère des liens.

« Les régions sont en boutons, mais JAWS voit des liens. Entre le titre et le tableau, il y a deux boutons, mais ceux-ci sont dédoublés inutilement. JAWS en lit deux, ce qui donne l’impression qu’il y a des boutons non étiquetés. »

Quelques erreurs ponctuelles ont également été identifiées, certaines nuisant surtout à la navigation avec un lecteur d’écran :

Plutôt que d’utiliser les points de suspension (« … »), l’expression « etc. » devrait être privilégiée, afin d’assurer une meilleure énonciation avec une synthèse vocale;

le lien « Info-panne », à droite dans le contenu de la page d’accueil, mène bien vers la page intitulé « Info-panne ». Cependant, sous ce lien se trouve entre autres un lien « Voir sur la carte » qui mène à cette même page, bien qu’il soit visuellement présenté comme un « enfant » de « Info-panne ». On doit alors à nouveau cliquer sur « Voir sur la carte » pour y arriver;
La balise « Title » de la page « Info-panne » contient uniquement le nom de la page, mais pas celui du site;
La balise « Title » de la page « Bilan interruptions » contient uniquement le nom du site, mais pas celui de la page.

Musée de la civilisation de Québec

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Accessibilité et Médiathèque » et du document PDF « Plan d’action 2012-2015 sur l’accessibilité universelle du Musée de la civilisation ».

Le site du Musée de la civilisation de Québec répond à 59 % des critères du SGQRI 008-01 pour le contenu des pages Web ainsi que pour les critères du SGQRI 008-02 pour les documents téléchargeables. Les cas de non-conformité au 008-01 ont été identifiés dans : le contenu non textuel, la perception de la structure, les formulaires, l’ordre de lecture, l’utilisation de la couleur et du son, la présentation visuelle du texte, la navigation au clavier, les délais de consultation et d’interaction, le soutien à la navigation, la lisibilité, la navigation cohérente, la prévention des erreurs et la compatibilité avec les outils d’adaptation. Les cas de non-conformité au 008-02 ont, pour leur part, été identifiés dans : les dispositions générales, les contenus non textuels, la perception de la structure, le soutien à la navigation et la lisibilité.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le premier scénario à réaliser était le suivant :

Votre ami vous mentionne que les activités du Musée de la civilisation à Québec peuvent être adaptées aux personnes ayant une limitation visuelle. Vous vous rendez sur le site du Musée pour en savoir plus sur ces accommodements.

Ce scénario a obtenu une note moyenne de satisfaction de 2,5/5. On compte 1 scénario réussi contre 11 échecs, dont 5 ont eu besoin d’assistance pour s’orienter. Les échecs sont majoritairement dus à une grande difficulté à se retrouver dans le site, à de l’information incomplète ainsi qu’à l’impossibilité de lire les documents PDF pour les utilisateurs de lecteur d’écran. Le temps moyen pour réaliser la tâche a été de 7 : 05 minutes.

Le deuxième scénario était le suivant :

Votre ami vous mentionne aussi qu’au Musée de la civilisation de Québec, l’entrée est gratuite pour les personnes handicapées. Vous visitez le site du Musée de la civilisation de Québec pour savoir si c’est vrai.

Ce scénario a obtenu une note moyenne de satisfaction de 2,8/5. On compte 3 scénarios réussis et 9 échecs dont 2 abandons (une personne a refusé d’effectuer la tâche dès le début en raison des difficultés déjà constatées lors de la réalisation du premier scénario). Parmi l’ensemble des personnes qui ont échoué, une seule a reçu de l’assistance : la difficulté porte donc sur la compréhension de la réponse et non sur la réalisation du scénario. Les échecs constatés sont de deux types : un abandon faute de trouver la réponse ou à cause d’une conclusion erronée, car les participants n’ayant pas trouvé l’indication de gratuité dans les sections concernant les droits d’entrée ou les tarifs d’activité ont conclu à la non-gratuité. L’impossibilité pour les utilisateurs de lecteur d’écran de lire les PDF s’ajoute à ces problèmes. Le temps moyen pour réaliser la tâche a été de 4 : 05 minutes.

Le site du Musée de la civilisation de Québec cause de multiples problèmes à tous les utilisateurs, quel que soit leur limitation : incapacité à trouver les réponses en raison de l’architecture du site ou du manque de clarté des intitulés, information absente des endroits pourtant prévus à cet effet et impossibilité de trouver l’information dans les documents la contenant, soit en raison de leur inaccessibilité, soit en raison d’un manque d’information.

Plusieurs ont été dérangés par la présence de deux menus « principaux » différents, un en haut et un en bas. Celui d’en bas a été très souvent négligé, surtout à cause de la présence de l’imposante visionneuse qui a également empêché plusieurs participants d’avoir rapidement une bonne idée du contenu du site et de l’emplacement des informations. Des titres de section sont non pertinents, tels que « Produits et services offerts » que plusieurs ont pris pour une offre commerciale.

En ce qui concerne l’emplacement des informations, plusieurs ont été surpris de ne pas les retrouver aux endroits attendus, ce qui a même provoqué des abandons. Par exemple, plusieurs ont échoué dans la deuxième tâche après avoir pourtant visité la section sur les tarifs, sur les abonnements et sur les activités, et après avoir survolé la section sur les modalités d’achat, etc. Le fait que les personnes handicapées ne soient pas mentionnées parmi les catégories de visiteurs porte à croire qu’elles n’ont droit à aucun tarif spécifique.

« On aurait dû trouver l’information sur le tarif pour les personnes handicapées dans Activité, la section “Vous êtes” ou encore dans horaires et tarifs! »

Notons aussi la présence de PDF non accessibles, même s’ils s’adressent directement à la clientèle ayant une limitation, comme le document sur les services offerts aux clients ayant une déficience visuelle et le formulaire pour la gratuité des organismes ou la section FAQ. Toutefois, même les testeurs qui ont trouvé facilement les informations ont été déçus par le manque de détails et ont dû se résoudre à téléphoner quand même. On peut bien imaginer la déception d’un utilisateur de lecteur d’écran qui ouvre un fichier PDF, souvent après une longue recherche, et qui ne peut en prendre connaissance bien que ce document s’adresse directement à lui. Certains utilisateurs de synthèse vocale n’ont même pas été en mesure de détecter qu’un PDF était ouvert. Deux personnes ont pu accéder partiellement au contenu en utilisant d’autres logiciels (Adobe digital et Openbook).

« Ils nous disent de communiquer avec eux, mais ne fournissent qu’un numéro de téléphone. Je ne peux pas téléphoner, je suis sourd! J’ai besoin d’autres coordonnées, comme une adresse courriel. »

Parmi les problèmes associés à une mauvaise application des standards, notons les images de la visionneuse incorrectement identifiées (ex. : « Cliquez ici pour image 1, image 2, etc. »), des liens non explicites (ex. : « En savoir plus » ou « En » à la place de « English ») ainsi qu’un manque de cohérence (ex. : lien et boutons mélangés dans une même liste, titres de sections mal balisés, etc.). Le fait que la zone de recherche ne soit pas une zone d’édition la rend inaccessible à certains utilisateurs de lecteur d’écran. D’autres testeurs ont également eu beaucoup de difficultés à cause de contrastes insuffisants. Enfin, il n’y a pas de lien « Accueil », et celui intitulé « Musée de la civilisation » ne mène pas à la page d’accueil, même s’il se situe à l’endroit habituel de ce lien.

Ce site a posé des problèmes particuliers aux utilisateurs du logiciel de grossissement d’écran ZoomText. La structure logique du site est inhabituelle, difficile à comprendre, et s’ils grossissent l’écran en fonction de leurs besoins, les utilisateurs se perdent dans la page. Ainsi, un participant a dû revenir à la taille régulière et utiliser une loupe pour être en mesure de comprendre le pied de page. Il arrive aussi qu’après avoir activé un lien, l’usager ignore que l’information s’est bel et bien affichée, que des écritures se chevauchent dans le menu du haut, etc. Finalement, les deux utilisateurs de ZoomText n’ont pu parcourir le site sans assistance.

Réseau de transport de la Capitale

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Transport adapté (STAC) », « Votre horaire » et du document PDF téléchargeable « Le transporteur », une infolettre.

Le site du Réseau de transport de la Capitale répond à 59 % des critères du SGQRI 008-01 pour le contenu des pages Web et à 63 % des critères du SGQRI 008-02 pour les documents téléchargeables. Les cas de non-conformité au 008-01 ont été identifiés dans : les exigences portant sur le contenu non textuel, la perception de la structure, les tableaux de données, l’ordre de lecture, les caractéristiques sensorielles, l’utilisation de la couleur et du son, la présentation visuelle du texte, le délai de consultation et d’interaction, le soutien à la navigation, la lisibilité, la navigation cohérente, la prévention des erreurs et la compatibilité avec les outils d’adaptation. Les cas de non-conformité au 008-02 ont, pour leur part, été identifiés dans : les dispositions générales, l’utilisation de la couleur et du son, le soutien à la navigation et la lisibilité.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le premier scénario à réaliser était le suivant :

Vous arrivez en train à Québec. Vous devez partir de la gare de train de VIA Rail pour aller à l’Assemblée nationale demain à 10 h. Faites votre itinéraire.

Ce scénario a obtenu une note moyenne de satisfaction de 2,2/5. On compte 4 scénarios réussis contre 8 échecs, dont 3 abandons. Les 4 personnes qui ont réussi connaissaient déjà l’interface de Google pour élaborer les itinéraires. Parmi les 8 personnes qui ont échoué, tous ont reçu de l’assistance pour se faire décrire ce qui se passait à l’écran : incompréhension des propositions de Google, soit en raison de difficultés de lisibilité, soit en raison d’incompatibilités avec le lecteur d’écran (informations énoncées incorrectement ou dans le désordre). Le temps moyen pour réaliser la tâche a été de 7 : 06 minutes.

De manière générale, le renvoi vers Google Maps pour le trajet a été peu apprécié :

Avec ZoomText :
- la zone cliquable des adresses proposées par Google (sous forme de liens) n’est pas identifiable par l’usager (pas de changement du curseur au survol ni de texte souligné);
- le numéro de la ligne d’autobus (800) apparait par-dessus l’heure de départ, ce qui rend impossible la lecture;
- en mode synthèse vocale, le logiciel ignore souvent les cases d’édition; et
- les liens « Option » et « Partir à » sont écrits trop pâles et trop petits, ce qui les rend illisibles, même pour des usagers sans limitations visuelles.
Le lecteur d’écran JAWS a un comportement très irrégulier sur Google Maps :

parfois, il ne détecte qu’une partie des informations;
parfois, il n’affiche pas l’information sur la plage Braille;
parfois, l’utilisation des flèches haut et bas permet de naviguer de haut en bas dans la page, d’autres fois, elles font agrandir ou diminuer la carte;
les adresses proposées par Google, présentées sous forme de liens, sont énoncées comme des séries de chiffres par la synthèse vocale. Il est donc impossible de sélectionner correctement les lieux de départ ou d’arrivée. De même, dans l’ensemble du texte, aucun des chiffres énoncés (ligne d’autobus, heure, date, adresses, etc.) n’est associé à une étiquette. L’absence d’étiquettes entre les informations rend la lecture de celle-ci beaucoup trop rapide, et les usagers ne parviennent pas à faire relire le texte. Ils sont également incapables de savoir quel mode de transport est sélectionné (voiture, à pieds, etc.)

« Sincèrement, je peux me débrouiller bien avec l’application mobile de Google Maps, mais le site de Google Maps, c’est l’enfer avec une synthèse vocale! »

De manière générale, les personnes ne se sentent pas prêtes à partir et à se débrouiller sur place avec les informations ainsi obtenues. Un testeur a également remarqué que l’option « accessible en fauteuil roulant » n’est pas disponible pour planifier un itinéraire.

Le second scénario était le suivant :

Un de vos amis se déplace en fauteuil roulant. Il désire prendre l’autobus pour la première fois, mais souhaite en savoir davantage sur le fonctionnement des rampes avant de le faire. Vous lui proposez de vous renseigner pour lui sur le site du RTC.

Ce scénario a obtenu une note moyenne de satisfaction de 4,3/5. On compte 10 scénarios réussis contre 2 échecs, 2 personnes ayant eu besoin d’assistance parce qu’elles cherchaient la réponse dans la section « Transport adapté », ce qui a nécessité une intervention de l’observatrice. Le temps moyen pour réaliser la tâche a été de 3 : 40 minutes.

De manière générale, tous les participants ont apprécié la navigation sur le site du RTC ainsi que la clarté de l’information. Quelques personnes sont toutefois restées perplexes devant la structure de la page d’accueil et d’autres ont éprouvé des difficultés de lecture à cause de l’insuffisance de contrastes. Une fois la structure comprise, les testeurs n’ont cependant pas eu trop de difficulté à trouver l’information. Plusieurs ont apprécié la clarté de la vidéo expliquant la procédure d’embarquement d’une personne circulant avec une aide à la mobilité dans les autobus ainsi que la possibilité d’afficher les sous-titres. Les documents PDF consultés sont lisibles, malgré l’absence de balise et quelques difficultés pour lire les tableaux.

Ville de Montréal

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Services aux citoyens » et du document PDF téléchargeable « Règlement sur le logement ».

Le site de la Ville de Montréal répond à 70 % des critères du SGQRI 008-01 pour le contenu des pages Web et à 36 % des critères du SGQRI 008-02 pour les documents téléchargeables. Les cas de non-conformité au 008-01 ont été identifiés dans : le contenu non textuel, le multimédia, la perception de la structure, les formulaires, l’ordre de lecture, l’utilisation de la couleur et du son, la présentation visuelle du texte, la navigation au clavier, les délais de consultation et d’interaction, le soutien à la navigation, la lisibilité, la navigation cohérente, la prévention des erreurs et la compatibilité avec les outils d’adaptation. Les cas de non-conformité au 008-02 ont, pour leur part, été identifiés dans : les dispositions générales, les contenus non textuels, la perception de la structure, l’ordre de lecture, le soutien à la navigation et la lisibilité.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le premier scénario à réaliser était le suivant :

Vous venez d’apprendre que la Ville de Montréal a une politique d’accessibilité universelle. Vous souhaitez obtenir le document pour le télécharger, donc vous le cherchez sur le site de la Ville.

Ce scénario a obtenu une note moyenne de satisfaction de 3,1/5. On compte 7 scénarios réussis contre 5 échecs, dont 1 abandon. La cause des échecs est reliée à la difficulté à comprendre la structure du site et à s’y retrouver. Souvent, la seule solution possible pour trouver une section est d’utiliser l’index qui n’est cependant pas toujours remarqué par l’usager. Le temps moyen pour réaliser la tâche a été de 7 : 24 minutes.

Le deuxième scénario était le suivant :

Vous avez un ami en fauteuil roulant qui souhaite obtenir la vignette d’accompagnateur gratuit. Il vous demande donc de vérifier sur le site de la Ville de Montréal quelle est la procédure pour l’obtenir.

Ce scénario a obtenu une note moyenne de satisfaction de 3,3/5. On compte 7 scénarios réussis contre 5 échecs, dont 1 abandon, faute de trouver le document au bout de 8 : 40 minutes. Les échecs ont surtout été causés par une impossibilité de trouver l’information demandée, par une conclusion erronée en raison d’une confusion avec un autre programme, soit le « programme de soutien à l’accompagnement » (dont les informations devraient d’ailleurs être mises à jour), ou encore, par une incompréhension après avoir été redirigé vers le site d’AlterGo sans en être averti. Le temps moyen de réalisation de la tâche a été de 5 : 15 minutes.

Les participants ont rencontré de nombreuses difficultés pour trouver l’information, sauf deux déjà familiers avec le site, qui, sachant ce dernier complexe, commencent toujours leurs recherches dans l’index. Rappelons que l’objectif du premier scénario était de trouver la politique dans un format téléchargeable : plusieurs ont pu la consulter en format HTML, mais ils sont tout de même considérés comme des échecs, faute de l’avoir trouvée en version téléchargeable. Notons que la version téléchargeable n’est disponible que dans la section « Publications » du site, et non dans la section dédiée à cette Politique.

« Que répondras-tu à ton ami?
D’aller chercher dans Google, pas là! »

Il serait pertinent d’ajouter « Personnes handicapées » dans la liste des options présentes sur la page d’accueil sous le titre « Montréal pour les… » (Familles, Jeunes, etc.).

« Ce site est techniquement accessible, mais c’est l’info qui est tout croche. »

Somme toute, ce site ne pose pas de problème au niveau de la compréhension : à quelques exceptions près, les participants n’ont eu aucun problème à comprendre ce qui leur est présenté. Que ce soit la politique ou l’information sur la vignette d’accompagnement, une fois trouvée, l’information plait pour sa facilité de lecture. Il est également largement apprécié que la politique soit disponible dans plusieurs formats (médias substituts).

Certaines pages consultées ont soulevé des problèmes fonctionnels (ex. : les noms des organismes mandataires du programme de la vignette d’accompagnement en loisir devraient être cliquables, ce qui en faciliterait la consultation). Certains obstacles rencontrés pourraient être facilement réglés en appliquant des normes de conception Web accessible : hiérarchie des titres, taille d’écriture garantissant la lecture, intitulés pertinents (ex. : dans « Publications », le document de la Politique d’accessibilité universelle s’intitule PorteAcces), fenêtre formulaire (sondages) lue par la synthèse vocale, compatibilité avec les outils d’adaptation (ex. : ZoomText ne rend pas certaines informations comme le titre « Index » de sorte que le participant n’entend qu’une série de lettres sans en saisir le sens, ou encore, mentionne « boîte d’édition » au lieu de « boîte de recherche »), etc.

Pour terminer, soulignons qu’un plan du site à jour serait plus efficace que l’index incomplet actuel, et que l’affichage des résultats de recherche serait amélioré si des titres étaient ajoutés aux liens.

Épicerie IGA

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « Créer un compte » et « Épicerie en ligne ».

Le site d’IGA répond, pour les trois pages Web testées, à 52 % des critères des WCAG 2.0. Les cas de non-conformité aux WCAG 2.0 ont été identifiés dans : les équivalents textuels, les médias temporels, l’adaptabilité, la distinguabilité, l’accessibilité au clavier, les délais suffisants, la navigabilité, la prévisibilité, l’assistance à la saisie et la compatibilité.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le scénario se réalisait en deux étapes :

Vous devez premièrement vous créer un compte utilisateur.

À l’aide de la circulaire en ligne d’IGA, vous souhaitez passer une commande que vous irez chercher au magasin à l’heure de votre choix. (Note : la tâche se terminait avant l’envoi de la commande).

Le scénario « création du profil » a obtenu une note moyenne de satisfaction de 3,7/5. On compte 7 scénarios réussis contre 5 échecs. Parmi les échecs, un participant avait déjà un compte, une a refusé de s’en créer un, un autre n’a jamais reçu le courriel de validation, une n’a pu valider son adresse courriel (considérée comme non valide par le site sans raison apparente), et une dernière participante a tout simplement refusé d’effectuer le scénario car connaissant le site au préalable, elle ne le jugeait pas suffisamment accessible avec sa synthèse vocale. Parmi les 7 personnes qui ont réussi, quatre ont attribué une note de 3/5, les autres ayant une satisfaction totale ou nulle, dépendamment de leur habitude de créer des profils sur Internet.

Le second scénario, « passer une commande en ligne », a obtenu une note moyenne de satisfaction de 3,1/5. On compte 6 scénarios réussis et 2 échecs qui ont reçu de l’assistance pour réaliser la tâche. Les 8 participants qui ont réalisé le scénario étaient ceux qui avaient préalablement réussi à ouvrir un compte. Les 6 personnes qui ont réussi ont été plutôt satisfaites en raison de leur connaissance préalable de la procédure pour effectuer des commandes en ligne. Le temps moyen pour réaliser les deux parties de la tâche a été de 14 : 32 minutes.

Dans le formulaire de création du profil, les testeurs ont souligné que la consigne relative au code postal devrait apparaitre avant la zone d’édition, sans quoi, sa lecture arrive trop tard pour les utilisateurs de synthèse vocale ou pour les personnes avec une basse vision. Certains ont éprouvé de la difficulté à trouver ou à créer leur compte, surtout ceux qui n’en ont pas l’habitude. Ils auraient plutôt opté pour un intitulé plus clair que « Se connecter ». Un participant a aussi souligné que le lien était écrit trop petit.

De manière générale, la commande se réalise rondement, sauf quelques irritants, souvent les mêmes d’une personne à l’autre, tels que la disparité entre le « Total estimé » et le montant de « Mon panier » en haut de la page, ou encore, une confusion entre les expressions « IGA en ligne » et « Épicerie en ligne ».

Les participants ont eu de la difficulté à trouver les intitulés pertinents pour réaliser le scénario, tel que la section « Magasin et cueillette » ou « Commander en ligne », voire pour trouver les produits qui sont affichés très bas dans la page. Beaucoup ont souligné la surabondance d’informations non pertinentes avant de pouvoir arriver où ils le souhaitent (recettes, promotions, « les trucs de Ricardo », visionneuse, etc.). Contrairement à beaucoup de sites, la visionneuse ne semble pas poser de problèmes d’accessibilité, même s’il y a des erreurs de description des images.

Ajoutons que plusieurs ont tenté de cliquer sur des images non cliquables, comme sur les icônes de numération des étapes (1, 2, 3 et 4) de la section « Comment ça fonctionne » (procédures pour passer une commande) ou encore, sur l’image de liste au lieu du texte « Ajouter » pour ajouter un produit au panier. Ceci dénote une utilisation peut-être non optimale des « images fonctionnelles » sur le site.

L’absence d’une circulaire en ligne accessible (sous forme de texte) a posé des problèmes aux utilisateurs de lecteur d’écran. Certains ont tout de même réussi à ouvrir la circulaire PDF et à en tourner les pages, mais sans pouvoir lire son contenu. Ils se sont heurtés à des liens mal libellés (ex : fr slash circulaire dièse). Ainsi, faute de circulaire accessible, ces utilisateurs ont uniquement accès, soit aux spéciaux présentés sur la page d’accueil, soit à la totalité des produits disponibles en lignes trop nombreux pour leur permettre d’identifier ceux qui les intéressent. Les spéciaux de la page d’accueil sont présentés sous forme de titres, et non de liens, ce qui nuit grandement à la plupart de ces utilisateurs qui naviguent de liens en liens. Ajoutons qu’il y a beaucoup de liens non significatifs (ex. : « En savoir plus », « Tout voir », « Détail », etc.). Le processus de commande est aussi très complexe pour les utilisateurs de synthèse vocale car certaines informations ne sont pas identifiées correctement, comme le montant total des achats. De plus, la fenêtre « Commencer à magasiner » n’est pas détectée par le lecteur d’écran.

Pharmacie Jean Coutu

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil » et « Circulaire en ligne ».

Le site de Jean-Coutu répond à 53 % des critères des WCAG 2.0. Les cas de non-conformité aux WCAG 2.0 ont été identifiés dans : les exigences d’équivalents textuels, l’adaptabilité, la distinguabilité, l’accessibilité au clavier, la prévisibilité, l’assistance à la saisie et la compatibilité.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le scénario se réalisait en deux étapes :

Vous devez nous dire s’il y a du Windex en spécial dans la circulaire de Jean Coutu valide aujourd’hui.
Nommez-nous deux produits en promotion avec les coupons-rabais.

Ce scénario a obtenu une note moyenne de satisfaction de 2,9/5. On compte 8 scénarios réussis et 4 échecs dont un abandon faute d’identifier le texte cliquable (liens) pour atteindre la version textuelle de la circulaire. Le temps moyen pour réaliser la tâche a été de 6 : 08 minutes.

La circulaire a particulièrement posé des problèmes aux personnes ayant une limitation visuelle, qu’elles utilisent un lecteur d’écran, des adaptations à l’écran, ou un logiciel de grossissement. Trois des quatre utilisateurs de synthèse vocale n’ont pas détecté le lien vers la version textuelle de la circulaire, difficilement audible en raison de l’emplacement de ce dernier dans la page, juste après la zone de partage. Dans la circulaire en version texte, deux modes de recherche sont possibles, soit par code postal, soit par régions. Les deux méthodes sont complexes : celle par code postal propose une série de liens dont la fonction n’est pas définie (seule la zone est définie) ni identifiée comme menant vers des succursales et non à une circulaire; celle par régions offre une liste interminable de liens, soit plus de 140 municipalités. Les participants se sont tous demandé si les circulaires différaient vraiment d’une ville à l’autre, sans quoi, une simplification du processus devrait être faite.

Les utilisateurs de synthèse vocale doivent lire la circulaire du début à la fin, faute d’un balisage approprié (titres, sous-titres, etc.). À la place des numéros de page, on devrait retrouver les noms de produits sous forme de titres, ce qui permettrait à ces personnes de se déplacer d’une catégorie de produits à l’autre, sans devoir entendre toute la description (prix, disponibilité, etc.) des produits qu’elles ne désirent pas. L’impossibilité d’appliquer des filtres constitue également un obstacle.

Notons que pour se simplifier la tâche, certains ont tenté de faire une recherche textuelle (CTRL + F, Windex), sans toutefois savoir si l’absence de résultats était causée par le fait que le Windex n’était pas dans la circulaire ou parce que ce mode de recherche ne fonctionne pas dans ce document. À tout cela s’ajoute la présence de quelques liens invalides et un comportement inconstant lors de la navigation (ex. : fermeture occasionnelle de la circulaire par la touche TAB nécessitant de se déplacer avec les flèches).

Ajoutons que le lien vers la version textuelle de la circulaire est également difficile à trouver visuellement, ce qui est dommage puisque celle-ci peut aussi faciliter la recherche pour des personnes ayant une limitation visuelle partielle ou toutes autres limitations.

La circulaire PDF a aussi été difficile à consulter, notamment, parce que les testeurs n’ont pas toujours compris que l’image était cliquable. Seul le tiers en est visible, en très petit, ce qui n’aide en rien la distinction déjà complexe de la bonne publication, entre Circulaire, Encart et Prix d’amis. Elle est aussi très longue à télécharger, ce qui a posé des problèmes à certains participants qui ont recommencé, croyant que la commande ne fonctionnait pas. À cela s’ajoute le fait que l’écriture est trop petite, que la qualité des images est mauvaise lorsque grossies et que la touche Zoom semble trop sensible et trop rapide.

Le deuxième scénario était le suivant :

Vous cherchez un emploi actuellement. Vous allez vérifier sur le site de Jean Coutu pour voir si des postes vous intéressent dans une des succursales près de chez vous.

Ce scénario a obtenu une note moyenne de satisfaction de 4,1/5. On compte 9 scénarios réussis et 3 échecs qui ont reçu de l’assistance. Le temps moyen pour réaliser la tâche, y compris le temps pour apprécier l’offre d’emploi choisie, a été de 3 : 40 minutes.

Somme toute, ce scénario a été jugé assez simple et agréable, sauf quelques confusions comme en témoigne la note moyenne de satisfaction. Toutefois, vu l’ampleur des résultats, plus de précision aurait été nécessaire, notamment pour Montréal : certains testeurs auraient souhaité pouvoir entrer un code postal pour effectuer un tri. Certains ont aussi eu de la difficulté à utiliser les menus déroulants pour les villes (ex. difficultés pour les ouvrir ou pour écrire directement le nom).

Les participants ont généralement identifié le menu de haut de page comme étant le menu principal : ils ont moins consulté les autres onglets ou liens jugés moins prioritaires. Ils ont questionné le choix de l’emplacement des différents onglets dans les menus (haut, droite ou pied de page). L’absence d’un lien intitulé « Accueil », à la place de « Pharmacie Jean Coutu », constitue un obstacle pour plusieurs. La présence de liens menant au même endroit, mais avec des libellés différents, a créé de la confusion, notamment pour « Carrière », « Offre d’emploi », et « Découvrir les offres ».

Tou.tv

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil », « A à Z » et « Lecteur vidéo ».

Le site de Tou.tv répond à 47 % des critères des WCAG 2.0. Les cas de non-conformité aux WCAG 2.0 ont été identifiés dans : les exigences d’équivalents textuels, les médias temporels, l’adaptabilité, la distinguabilité, l’accessibilité au clavier, les délais suffisants, la navigabilité, la lisibilité, l’assistance à la saisie et la compatibilité avec les aides techniques.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le scénario à réaliser était le suivant :

Samedi dernier, vous avez manqué une émission que vous écoutez habituellement. Vous voulez vous rattraper en allant voir sur le site de Tou.tv, dans les émissions de samedi dernier.

Seuls 9 des 12 testeurs ont tenté de réaliser ce scénario : 2 ont jugé le site trop complexe et inaccessible, et un n’a pu le réalisé puisque le site était en maintenance. Pour ces 9 testeurs, la note moyenne de satisfaction a été de 2,2/5, et l’on compte 3 scénarios réussis et 6 échecs, dont 2 réalisations avec assistance et 4 abandons pour cause d’incompatibilité totale avec l’aide technique utilisée. Le temps moyen pour réaliser la tâche a été de 6 : 11 minutes, durée qui tient compte des nombreux abandons. Finalement, ce site n’a pas été apprécié par les testeurs, particulièrement par ceux avec une limitation visuelle.

La section « Rattrapage » utilise les jours de la semaine comme critère de classification. Pour les utilisateurs de lecteurs d’écran, le problème majeur dans la réalisation de ce scénario a été d’identifier les jours parmi la masse d’informations car ils ne sont pas balisés (titres ou liens), ce qui les a forcés à tout lire. Notons également que les contrastes sont nettement insuffisants pour les percevoir aisément.

Ces deux problèmes sont d’ailleurs récurrents dans tout le site : le manque de contrastes (même en utilisant les options d’accessibilité de l’ordinateur comme la loupe et l’inversion des contrastes) et l’inadéquation ou l’insuffisance de balisage (hiérarchie des titres incorrecte, etc.) rendent la navigation impossible pour certains. Aussi, les utilisateurs de lecteur d’écran se perdent dans la page au milieu de toutes les vidéos mal identifiées.

À cela s’ajoute quelques cas de confusion entre des intitulés ambigus, comme « Rattrapage télé » et « En rattrapage ».

De plus, les utilisateurs de lecteur d’écran ne savent pas si un contenu est offert gratuitement ou s’il est réservé aux membres Extra, cette information n’étant rendue que visuellement. L’utilisation du lecteur vidéo est également complexe, voire impossible, car les boutons ne sont pas correctement étiquetés (ex. « bouton non étiqueté 5 »). Par exemple, pour visionner l’épisode actuel de la série « Qui êtes-vous », un participant, après plusieurs essais-erreurs, a réussi à faire jouer la vidéo en cliquant sur un bouton étiqueté « René Simard ». Ajoutons qu’une fois la lecture commencée, le bouton d’écoute disparaît. Ainsi, si l’on clique sur le bouton « Pause » (soit sur « bouton non étiqueté 5 »), c’est donc sur « bouton non étiqueté 2 » qu’il faut cliquer pour la faire rejouer.

Les testeurs qui se déplacent de lien en lien n’ont, quant à eux, accès qu’aux trois liens suivants : « Titre », « Ajouter à ma liste » et « en savoir plus ». Bien sûr, plusieurs personnes n’ont jamais été en mesure de faire partir la lecture de la vidéo.

« Je ne comprends plus rien, JAWS ne me dit pas que le titre de l’émission est cliquable, donc je ne sais même pas ce que je peux faire pour faire jouer la vidéo! »

Ajoutons que le temps de chargement des pages est très long vu la forte présence de contenu audio et vidéo. Lorsque le temps est trop long, les personnes qui n’ont aucune possibilité de percevoir que l’ordinateur travaille (ex. : sablier qui s’écoule) croient être en situation d’échec et retournent en arrière, ce qui les oblige à tout recommencer.

Pour les personnes utilisant des adaptations à l’écran ou un logiciel de grossissement d’écran, on note différents problèmes liés à la compatibilité avec ces aides techniques, dont une perte totale de la mise en page (déplacement des titres, voire chevauchement sur le texte, etc.)

« Va voir le site de TVA, c’est vraiment clair comme horaire! »

La Presse.ca

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil » et « Article ».

Le site de La Presse.ca répond à 45 % des critères des WCAG 2.0. Les cas de non-conformité aux WCAG 2.0 ont été identifiés dans : les équivalents textuels, les médias temporels, l’adaptabilité, la distinguabilité, l’accessibilité au clavier, la navigabilité, l’assistance à la saisie et la compatibilité avec les aides techniques.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le scénario à réaliser était le suivant :

Le 3 novembre 2013, Denis Coderre est devenu maire de Montréal, nouvelle annoncée vers 21 h. Vous voulez lire un article qui a été publié sur cette élection à ce moment. Vous allez donc parcourir les archives en ligne sur le site de La Presse.

Ce scénario a obtenu une note moyenne de satisfaction de 2,4/5. On compte 5 scénarios réussis contre 7 échecs. Sur les 7 personnes qui ont reçu de l’assistance, deux ont abandonné, une après avoir passé 8 : 38 minutes à chercher les archives non payantes, et l’autre, après avoir cherché plus de 12 minutes en raison d’énormes problèmes de compatibilité avec son aide technique. Le temps moyen pour réaliser la tâche a été de 9 : 52 minutes.

Cette recherche a été particulièrement complexe en raison d’une insuffisance de balises ou d’une mauvaise utilisation de celles-ci ainsi que d’un manque de structure de l’information. Par exemple, « Archives payantes » est balisée en lien, mais pas « Archive » : les personnes naviguant de lien en lien n’ont donc jamais pu savoir qu’il y avait également une section gratuite, d’autant plus que la surcharge informationnelle des pages de ce site rend impossible la navigation par flèche (ce qui obligerait à lire la totalité du contenu). De même, dans les archives, les années sont balisées sous forme de titres, alors que les mois et les jours sont des liens. Donc, sans structure logique, les utilisateurs de lecteurs d’écran doivent effectuer leur recherche en alternant les modes de navigation, et la plupart du temps, ils manquent le résultat. Beaucoup de participants se déplaçant de lien en lien n’ont pu confirmer l’année de parution, parce qu’ils arrivaient directement aux mois.

Une fois la recherche réalisée, les articles ne sont pas ordonnés de manière logique (par heure, par ordre alphabétique, etc.). Certains testeurs n’ont pas vu l’article recherché, ce dernier apparaissant trop bas, après une série de liens non explicites et de pictogrammes sans fonction identifiée. Finalement, il a été très difficile pour les participants de retourner à leur recherche d’origine pour valider ou invalider les résultats de la requête.

Le deuxième scénario à réaliser était le suivant :

Vous souhaitez lire la dernière chronique de Stéphane Laporte sur le site de la Presse.

Ce scénario a obtenu une note moyenne de satisfaction de 2,1/5. On compte 4 scénarios réussis contre 7 échecs : une personne n’a pas réalisé ce scénario, les erreurs commises lors de la tâche précédente l’avaient conduit à réaliser sensiblement le même scénario. Une personne a abandonné faute de pouvoir naviguer dans ce site, et 4 ont dû abandonner en cours de réalisation malgré l’assistance fournie. Le temps moyen pour réaliser la tâche a été de 4 : 03 minutes.

Cette recherche d’information a aussi posé des problèmes, notamment parce que la majorité des participants a tenté d’utiliser l’option de recherche qui ne leur a finalement été d’aucune utilité. Comme les résultats ne sont pas bien identifiés, on ne sait pas vraiment ce que l’on trouve. En cherchant « Stéphane Laporte », on obtient plus de 3000 résultats dont le premier est un texte d’un auteur non identifié dans la présentation des résultats. Beaucoup ont cru, à tort, avoir obtenu le résultat escompté. Pratiquement tous les testeurs ont souligné la surcharge de contenu et la présence d’éléments nuisibles avant les informations pertinentes (ex. : série de publicités ou de liens incompréhensibles avant les résultats).

Le site présente des problèmes de contrastes, notamment lorsque le curseur survole un titre cliquable qui, au lieu de se souligner ou de s’épaissir, pâlit au point de rendre sa lecture parfois impossible. À cela s’ajoutent des liens mal identifiés ainsi qu’un menu instable qui s’ouvre de façon inopportune et dans lequel beaucoup de personnes qui naviguent uniquement au clavier restent piégés.

Il est important de noter la piètre performance de compatibilité avec le logiciel ZoomText : aucune constance dans la navigation, touches de navigation qui fonctionnent une fois sur 5, images qui, une fois grossies, se pixélisent au point de devenir indéchiffrables, etc. Pour les personnes utilisant ce logiciel, il est impossible de parcourir ce site de manière autonome. Les 4 photos qui suivent exposent en images ces problèmes.

Magasin Walmart

Conformité

L’évaluation technique et fonctionnelle a été effectuée sur l’échantillon composé des pages « Accueil » et « Électronique ».

Le site de Walmart répond à 81 % des critères des WCAG 2.0 niveau AA, un engagement pour la chaîne. Les cas de non-conformité aux WCAG 2.0 ont été identifiés dans : les exigences d’équivalents textuels, l’adaptabilité, la distinguabilité, l’accessibilité au clavier, les délais suffisants, la navigabilité, la lisibilité, l’assistance à la saisie et la compatibilité avec les aides techniques.

Utilisabilité

En ce qui concerne l’évaluation effectuée par les utilisateurs, le scénario à réaliser était le suivant :

Vous désirez partir en camping cet été et vous cherchez une tente en spécial. Vous commencez vos recherches en consultant la circulaire sur le site de Walmart.

Ce scénario a obtenu une note moyenne de satisfaction de 2,5/5. On compte 7 scénarios réussis contre 5 échecs, tous avec abandon malgré l’assistance reçue. Le temps moyen pour réaliser la tâche (pour réussir ou pour abandonner) a été de 6 : 52 minutes.

Le deuxième scénario à réaliser était le suivant :

Vous venez d’apprendre que Walmart a une politique pour l’accessibilité de ses services en magasin aux personnes handicapées. Vous vous rendez sur leur site pour la lire.

Parmi tous les scénarios évalués, ce dernier a obtenu la plus basse note moyenne de satisfaction, soit 1,9/5. 11 personnes ont réalisé le scénario : on compte 2 scénarios réussis contre 9 échecs, dont 6 abandons. Ces abandons ont été causés par des problèmes de compatibilité avec les aides techniques (rendant la navigation impossible) ou par une incapacité à trouver l’information, l’architecture n’étant nullement intuitive. Le temps moyen nécessaire pour réaliser la tâche a été de 7 : 46 minutes.

La lourdeur de la page d’accueil (temps de téléchargement, nombre élevé de liens) liée à la multitude d’articles présentés a été soulignée par presque tous les participants. En raison de cette surcharge informationnelle, les testeurs ayant une limitation visuelle complète ne savaient même plus s’ils étaient déjà en train de consulter la circulaire. Les utilisateurs de lecteur d’écran ont également eu de la difficulté à identifier la fenêtre de saisie du code postal, le lien d’ouverture de cette fenêtre arrivant trop loin dans la liste des liens.

« Je peux naviguer dans la page, mais je ne comprends pas, à chaque fois que je clique sur un lien, il ne mène nulle part. Qu’est-ce qui se passe? »

Des problèmes comme des temps de téléchargement trop longs ou des fenêtres indétectables mènent souvent à l’abandon.

Les utilisateurs de lecteur d’écran ont aussi noté quelques erreurs de programmation comme plusieurs titres regroupés dans la même balise (ex. : « aide contactez-nous english » ou encore « magasin circulaire compagnie »). Ces titres sont dédoublés par des liens, ce qui provoque une répétition et donc une surcharge supplémentaire pour ces utilisateurs.

Concernant l’accès à la circulaire, certains ont, dans un premier temps, eu de la difficulté avec la fenêtre de saisie du code postal, et tous ont eu de la difficulté à identifier la publication recherchée, la circulaire arrivant avant-dernière dans la liste des publications. Ajoutons que pour les personnes qui ne voient pas, le fait que l’intitulé « Circulaire » ne soit pas balisé comme un lien a nui à son repérage. Une fois affichée, la circulaire a posé différents problèmes de fonctionnement : un testeur a abandonné faute de trouver comment passer d’une page à l’autre et un autre, faute de trouver comment monter et descendre dans la page et comment grossir les caractères.

Une seule participante a remarqué qu’il existe un lien vers une version textuelle dans le pied de page. Elle a relativement apprécié cette circulaire, notamment en raison de la structure et du balisage adéquats (catégories de produits en titres, table des matières en liens).

Concernant la recherche sur le site, la zone de recherche est intitulée « Quel article cherchez-vous », ce qui n’est pas un libellé habituel pour une zone de recherche principale. De plus, la recherche ne s’effectue que dans les produits, elle ne permet donc pas d’identifier les politiques, les pages, etc. Ajoutons qu’elle ne discrimine aucunement les résultats non pertinents. Devant le grand nombre de produits possibles, la recherche fournit beaucoup trop de résultats pour être utilisable. Par exemple, le mot « tente » a donné 104 résultats, dont l’ensemble des accessoires de camping. Si on recherche « Camping », on obtient 708 résultats. Dans certains cas, les résultats n’ont tout simplement pas de sens : l’expression « directive clients incapacité » obtient un total de1857 résultats, exclusivement des produits.

« La recherche ne sert tellement à rien! »

Des erreurs ponctuelles ont également été identifiées, telles que des fautes d’orthographe ou de frappe (ex. :« Le rentrée des classes »), et des erreurs de programmation (ex. : dans la circulaire, en cliquant sur « Articles de sports », on arrive dans la catégorie « Jouets »). Parfois, un retour en arrière ou un changement de page modifie la langue de la page. Certains fichiers PDF apparaissent comme de simples liens, la personne ignorant qu’en les activant, elle ouvrira un document.

Les utilisateurs d’aides techniques ont eu beaucoup de difficulté à naviguer sur ce site : JAWS cesse parfois de fonctionner, ZoomText dénature totalement la mise en page rendant le site non fonctionnel (ex. : personnages publicitaires de Star Wars qui chevauchent le contenu, informations qui ne sont plus alignées avec le bon produit, etc.).