La surveillance automatisée de la connaissance du produit a une faiblesse facile à négliger : elle ne peut être meilleure que les données sur lesquelles elle repose. Un système qui vérifie chaque jour chaque titre de la tablette, en fonction d'un ensemble bien rédigé de définitions de changement important, produira quand même la mauvaise réponse si un titre n'est pas relié à ses données, si un champ du fournisseur a cessé de se mettre à jour il y a des mois, ou si une valeur manquante est discrètement traitée comme un succès. Pire, il produira un journal d'apparence propre qui laisse croire que tout a été vérifié.
Les régulateurs ont poussé les firmes vers une surveillance systématique. L'avis conjoint du personnel des ACVM et de l'OCRI a jugé la surveillance annuelle seule généralement insuffisante et a cité des firmes utilisant des systèmes automatisés pour signaler les changements importants chaque jour, chaque semaine ou chaque mois.[2] Le même avis attend des firmes qui s'appuient sur des systèmes automatisés pour la connaissance du produit qu'elles décrivent ces processus en détail, et des firmes qui s'appuient sur des modèles algorithmiques qu'elles conservent des preuves d'une surveillance continue attestant que le modèle fonctionne correctement.[2] Autrement dit, les données et la mécanique derrière la surveillance font partie de ce qui doit être supervisé.
Ce document explique comment auditer les données derrière un système de surveillance de la connaissance du produit. Il couvre la base réglementaire au Canada et aux États-Unis, un inventaire des données dont dépend la surveillance, six dimensions de la qualité des données, les façons dont les données de surveillance échouent habituellement, les responsabilités de la firme et du conseiller, un ensemble de tests d'audit et un exemple de processus écrit.
Il complète Changement important : quand rouvrir une évaluation de connaissance du produit, qui traite de ce que la surveillance doit rechercher, et Le guide de la connaissance du produit en continu : qui fait quoi, qui traite des dossiers que la surveillance doit produire. Ce document porte sur la question de savoir si l'on peut se fier aux intrants des deux.
Aucune règle dans l'un ou l'autre pays ne s'intitule « qualité des données de surveillance ». L'obligation découle du devoir de superviser, du devoir de surveiller les produits et de l'attente que les firmes puissent prouver ce qu'elles ont fait. Chacun échoue si les données sous-jacentes sont fausses.
La règle 3301 de l'OCRI exige qu'un courtier surveille les titres qu'il offre pour détecter les changements importants.[1] L'article 11.1 du Règlement 31-103 et la règle 3904 de l'OCRI exigent un système de contrôles et de supervision suffisant pour fournir l'assurance raisonnable que la firme respecte la législation en valeurs mobilières, y compris ses exigences de connaissance du produit.[2] L'Avis conjoint du personnel des ACVM et de l'OCRI 31-368 ajoute quatre attentes qui s'appliquent directement aux données de surveillance.[2]
La liste, dans l'avis, de ce que les politiques et procédures de connaissance du produit devraient couvrir inclut la répartition du travail de connaissance du produit entre la firme et ses personnes physiques inscrites, et précise :
Dans sa discussion des approbations, l'avis s'adresse aux firmes dont les processus reposent sur des modèles algorithmiques :
Un système de surveillance qui évalue chaque titre en fonction de seuils codés est ce type de processus. La preuve qu'il « fonctionne correctement » commence par la preuve qu'il travaille sur des données exactes.
Parmi ses constats sur la surveillance, l'avis a décrit des firmes qui « tenaient à jour l'information sur les titres (p. ex., les états financiers actualisés de l'émetteur) mais n'avaient aucune preuve qu'elle avait été examinée ou prise en compte dans leur processus de surveillance ».[2] Le problème inverse compte tout autant : une firme qui peut montrer que son système a examiné les données, mais ne peut montrer que les données étaient exactes.
Sur les évaluations de connaissance du produit, l'avis indique : « Bien que les rapports de tiers puissent appuyer les évaluations de connaissance du produit, les firmes doivent documenter leur propre analyse. »[2] La plupart des données de surveillance proviennent de fournisseurs. La firme peut s'y fier, mais elle demeure responsable de savoir sur quoi elle se fie et si cela convient à l'usage.
La règle 3110 de la FINRA exige un système de supervision raisonnablement conçu pour assurer la conformité.[5] Lorsque ce système dépend d'une surveillance automatisée, sa conception inclut les données qui l'alimentent.
Le Regulatory Notice 21-29 de la FINRA rappelle aux firmes que l'externalisation d'une activité ou d'une fonction auprès d'un fournisseur tiers ne les dégage pas de leur responsabilité ultime quant au respect des lois et règlements applicables en valeurs mobilières, et décrit des pratiques de diligence raisonnable et de surveillance continue des fournisseurs, y compris l'examen de l'exactitude du travail des fournisseurs et la supervision des changements de système touchant des fonctions critiques.[6] Les données de marché, les données sur les fonds et les plateformes de surveillance sont toutes des services de fournisseurs sur lesquels les firmes s'appuient couramment pour la connaissance du produit.
L'interprétation de 2019 de la SEC sur la norme de conduite des conseillers exige une enquête raisonnable sur un placement « suffisante pour ne pas fonder ses conseils sur de l'information substantiellement inexacte ou incomplète ».[4] L'obligation de diligence (Care Obligation) du Reg BI exige qu'un courtier comprenne les risques, les avantages et les coûts de ce qu'il recommande.[3] Les deux dépendent de l'exactitude et de l'actualité de l'information sur le produit.
| Attente | Canada | États-Unis |
|---|---|---|
| Système de contrôles | Art. 11.1 du Règlement 31-103 et règle 3904 de l'OCRI | Règle 3110 de la FINRA |
| Processus automatisés | Exposés en détail dans les politiques ; personnes responsables identifiées | Partie d'un système de supervision raisonnablement conçu |
| Algorithmes et modèles | Documenter le modèle, ses extrants et les preuves d'une surveillance continue | Visés par les attentes de supervision et de surveillance des fournisseurs |
| Données de tiers et fournisseurs | Les documents de tiers peuvent appuyer la connaissance du produit ; la firme documente sa propre analyse | L'externalisation ne dégage pas la firme de sa responsabilité (Notice 21-29) |
| Qualité de l'information | Preuve que l'information a été obtenue et examinée | Conseils non fondés sur de l'information substantiellement inexacte ou incomplète |
Avant qu'une firme puisse auditer ses données de surveillance, elle doit savoir quelles sont ces données. La plupart des systèmes de surveillance dépendent de plus de sources que ne le réalisent les gens qui se fient à leurs alertes.
| Ensemble de données | Ce qu'il contient | Source habituelle | Ce qui tourne mal |
|---|---|---|---|
| Population surveillée | Chaque titre de la tablette et chaque titre détenu dans les comptes clients | Dossiers de gestion des produits, systèmes de garde et de comptes | Transferts entrants et titres radiés ou fermés laissés de côté |
| Référentiel des titres | Identifiants, type de titre, classification, liens avec l'émetteur et le fonds | Données de référence internes, flux de référence de fournisseurs | Les changements d'identifiant et les reclassifications rompent le lien avec les données de surveillance |
| Données de marché | Cours, rendements, volatilité, écarts | Fournisseurs de données de marché | Cours périmés, erreurs d'opérations sur titres, trous |
| Données fondamentales et données sur les fonds | Ratios financiers, notations, RFG et frais, positions, flux, noms des gestionnaires | Fournisseurs de données sur les fonds, dépôts réglementaires, agences de notation | Champs qui cessent de se mettre à jour ; changements de méthodologie ; décalage |
| Événements et documents | Modifications de fonds, avis d'émetteurs, décisions de notation, mesures réglementaires | Systèmes de dépôt réglementaire, avis des émetteurs et des gestionnaires, actualités | Événements non saisis, ou saisis en retard |
| Registre des changements importants | Les mesures, seuils, fréquences et niveaux de gravité que le système applique | Interne - sous la responsabilité du comité des produits | Les seuils codés diffèrent de la politique approuvée |
| Dossiers de sortie | Évaluations, alertes, examens, décisions et notifications | Le système de surveillance et les outils de flux de travail | Dossiers écrasés plutôt que versionnés ; évaluations sans manquement manquantes |
Pour chaque ensemble de données, l'inventaire devrait consigner un responsable, la source, la fréquence de mise à jour et les définitions de changement important qui en dépendent. Ce dernier lien est le plus important : lorsqu'un champ de fournisseur change, la firme doit savoir immédiatement quelles règles de surveillance sont touchées.
| Dimension | La question | Exemple de test |
|---|---|---|
| Exhaustivité | Chaque titre de la population surveillée est-il couvert, avec chaque champ dont ses règles ont besoin ? | Rapprocher la liste surveillée de la tablette et des positions ; compter les champs manquants par règle |
| Exactitude | Les valeurs correspondent-elles à la source primaire ? | Recalculer un échantillon de valeurs à partir des documents de fonds, des dépôts réglementaires ou des états financiers |
| Actualité | Chaque valeur est-elle aussi à jour que le suppose la fréquence d'évaluation de la règle ? | Comparer la date de dernière mise à jour de chaque champ à son cycle de mise à jour attendu |
| Cohérence | Les mêmes faits concordent-ils entre les sources et les systèmes ? | Comparer les frais et notations des fournisseurs aux propres dossiers de connaissance du produit de la firme et aux rapports aux clients |
| Traçabilité | Chaque valeur peut-elle être retracée jusqu'à sa source et à chaque transformation qui lui a été appliquée ? | Retracer un échantillon d'alertes jusqu'à l'enregistrement source brut |
| Reproductibilité à une date donnée | La firme peut-elle montrer ce que disaient les données à une date passée, et non seulement ce qu'elles disent maintenant ? | Reproduire une évaluation passée à partir des données conservées et confirmer le même résultat |
La dernière dimension est celle qui manque le plus souvent, et celle qu'un inspecteur est le plus susceptible de tester. Un dossier de surveillance a peu de valeur probante si les données qui le sous-tendent ont depuis été écrasées et que la firme ne peut montrer ce que le système a réellement vu au moment de trancher.
Les données de surveillance échouent rarement bruyamment. Les défaillances courantes ne produisent aucune alerte, ce qui ressemble exactement à un titre sans rien à signaler.
Auditer les données de surveillance est un travail continu, et non un exercice annuel. Certains tests s'exécutent automatiquement chaque jour ; d'autres sont des échantillonnages et des examens périodiques.
| Test | Ce qu'il prouve | Fréquence suggérée |
|---|---|---|
| Rapprochement de la couverture | Chaque titre de la tablette et des comptes clients fait partie de la population surveillée et est relié à ses données | Quotidien, automatisé |
| Vérification de la péremption des champs | Chaque champ a été mis à jour dans son cycle attendu | Quotidien, automatisé |
| Rapport « impossible d'évaluer » | Chaque règle qui n'a pas pu s'exécuter est identifiée, et non comptée comme un succès | Quotidien, automatisé |
| Réexécution à la source | Un échantillon de valeurs correspond aux documents primaires | Échantillon mensuel |
| Rapprochement du registre | Les seuils codés correspondent aux définitions approuvées | À chaque changement du registre, et trimestriellement |
| Test rétrospectif sur événements connus | Le système a saisi les événements réels qu'il aurait dû saisir - par exemple, des changements de frais ou des départs de gestionnaires trouvés dans les dépôts réglementaires | Trimestriel |
| Reproduction à une date donnée | Une évaluation passée peut être reconstituée à partir des données conservées avec le même résultat | Échantillon trimestriel |
| Examen des changements de fournisseurs | Les changements de méthodologie et de champs des fournisseurs ont été évalués quant à leur effet sur les règles de surveillance | À chaque avis de fournisseur, et annuellement |
Le test rétrospectif sur événements connus est le plus révélateur. Prenez un ensemble de changements importants que la firme peut trouver de façon indépendante - une hausse de frais dans une modification de fonds, un changement de gestionnaire annoncé par la société de fonds, une décote - et vérifiez si le système de surveillance a signalé chacun d'eux, et quand. Les ratés pointent directement vers des lacunes de couverture, de données ou de règles.
L'exemple ci-dessous montre ce qu'un processus écrit pourrait couvrir. Il est illustratif ; le processus de chaque firme devrait refléter ses systèmes, ses fournisseurs et son modèle d'affaires.