Author: Konstantinos Vadratsikas

Published: August 26, 2022

“Η αξιολόγηση είναι δημιουργία. Aκούστε το δημιουργοί! Η διαδικασία της αξιολόγησης είναι από μόνη της ο πιο πολύτιμος θησαυρός, από όλα αυτά στα οποία δίνουμε αξία. Μόνο μέσω της αξιολόγησης υπάρχει αξία και χωρίς την αξιολόγηση, ακόμη κι ο καρπός της ύπαρξης θα ήταν κούφιος.”
Friedrich Nietzsche

Κάθε εγχείρημα, πρόγραμμα ή παρέμβαση σχεδιάζονται έχοντας κατά νου κάποιους στόχους. Ξοδεύουμε εργατοώρες και πόρους, και όταν ολοκληρωθούν οι εργασίες έρχεται η ώρα να απαντήσουμε στο ερώτημα: “Πετύχαμε το στόχο μας;”. Όμως η απάντηση σπάνια είναι ξεκάθαρη. Κάθε φιλόδοξο εγχείρημα είναι συνήθως εξαιρετικά σύνθετο, ώστε να μπορούμε να αντιληφθούμε με μια ματιά, αν έχει εκπληρώσει τους στόχους του. Υπάρχουν πολλοί παράγοντες που μπορεί να συμβάλουν στην επιτυχία ή την αποτυχία του και μπορεί να χρειαστεί πολύς χρόνος, μέχρι τα αποτελέσματά του να γίνουν ορατά.

Στην πραγματικότητα, η αξιολόγηση της επιτυχίας ενός προγράμματος είναι συχνά από μόνη της ένας ξεχωριστός στόχος, και μάλιστα πολύ σημαντικός, καθώς χωρίς τις κατάλληλες μεθόδους αξιολόγησης δεν μπορούμε ποτέ να γνωρίζουμε με βεβαιότητα τι έχουμε πετύχει, και αν τελικά άξιζε τον κόπο. Επομένως δεν αποτελεί έκπληξη το γεγονός ότι η εκτίμηση αντίκτυπου (impact assessment) αποκτά όλο και μεγαλύτερη σημασία, καθώς οι ιθύνοντες για τη χάραξη της πολιτικής, οι επενδυτές, οι μέτοχοι, αλλά και κάθε άλλος ενδιαφερόμενος αρχίζουν να αντιλαμβάνονται τη σημαντικότητα της.

Η εκτίμηση αντίκτυπου ξεχωρίζει από άλλες προσεγγίσεις αξιολόγησης από το γεγονός ότι εστιάζει στην καταγραφή των αλλαγών που επιφέρει ένα πρόγραμμα, παρά των εργασιών που ολοκληρώνονται ή των εκροών που παράγονται. Ωστόσο, η εκτίμηση αντίκτυπου δεν είναι μία μεθοδολογία ή ένα εργαλείο. Αντιθέτως, μπορεί να επιτευχθεί μέσα από πληθώρα μεθοδολογιών και τα εργαλεία που χρησιμοποιεί πρέπει πάντα να προσαρμόζονται στις ιδιαιτερότητες του αντικειμένου που αξιολογείται. Υπό αυτή την έννοια δεν μπορούν να υπάρξουν έτοιμες λύσεις στο σχεδιασμό ενός πλάνου εκτίμησης αντίκτυπου. Απεναντίας, κάθε εγχείρημα απαιτεί τη δική του προσέγγιση, μεθοδολογία και εργαλεία αξιολόγησης, τα οποία επιλέγονται μετά από προσεκτική ανάλυση των ιδιαίτερων χαρακτηριστικών του.

Ωστόσο, παρόλο που δεν είναι δυνατός ο σχεδιασμός ενός πλάνου εκτίμησης αντίκτυπου που να ταιριάζει σε κάθε περίπτωση, πάντοτε θα υπάρχουν κάποιοι βασικοί κανόνες για την αξιολόγηση του αντίκτυπου εγχειρημάτων με παρόμοια δομή, αντικείμενο ή στόχους. Το άρθρο αυτό εξετάζει κάποια ζητήματα, που προέκυψαν κατά το σχεδιασμό του πλάνου εκτίμησης αντίκτυπου για το πρόγραμμα ανάπτυξης δεξιοτήτων του AfriConEU, και τα οποία ενδεχομένως να βρίσκουν εφαρμογή και σε άλλα εγχειρήματα με παρόμοια δομή και στόχους.

Στόχος του project AfriConEU είναι ενδυνάμωση των κόμβων ψηφιακής καινοτομίας στην Αφρική, μέσα από την ανάπτυξη της πρώτης διηπειρωτικής ακαδημίας δικτύωσης για κόμβους ψηφιακής καινοτομίας. Η Ακαδημία βασίζεται στην υλοποίηση δύο εμβληματικών προγραμμάτων, τα οποία επικεντρώνονται στην ανάπτυξη των δεξιοτήτων των κόμβων ψηφιακής καινοτομίας, ώστε να είναι σε θέση να ξεπερνούν τις προκλήσεις που αντιμετωπίζουν, και στη δημιουργία εταιρικών σχέσεων και κοινοπραξιών, αντίστοιχα.

Το πρόγραμμα ανάπτυξης δεξιοτήτων του AfriConEU, στο οποίο εστιάζεται το παρόν άρθρο, προσφέρει μια σειρά από δωρεάν, διαδικτυακές και υβριδικές δραστηριότητες κατάρτισης για κόμβους ψηφιακής καινοτομίας με σκοπό να τους επιμορφώσει πάνω σε καινοτόμους τρόπους επιχειρηματικής δραστηριότητας, προσέλκυσης οικονομικών πόρων και υποστήριξης προς τις κοινότητες τους. Το έργο βρίσκεται σε εξέλιξη και θα ολοκληρωθεί τον Ιούλιο του 2023, όμως το εκπαιδευτικό υλικό που δημιουργείται θα είναι ελεύθερα διαθέσιμο στον ιστότοπο του AfriConEU ακόμη και μετά τη λήξη του έργου το Δεκέμβριο του 2023.

Η εκτίμηση αντίκτυπου αφορά στην αξιολόγηση των αλλαγών που επιφέρει ένα πρόγραμμα, αλλά δεν είναι όλες οι αλλαγές σχετικές ή επιθυμητές. Ένα κρίσιμο στοιχείο, σε κάθε προσπάθεια να εντοπίσουμε τις επιπτώσεις μιας παρέμβασης και να κατανοήσουμε τα αίτιά της, είναι να γνωρίζουμε τι πρέπει να περιμένουμε, καθώς και πως να εντοπίσουμε τις σχετικές αλλά και τις απρόβλεπτες επιπτώσεις της. Συγκεκριμένα, όταν προσπαθούμε να αξιολογήσουμε τον αντίκτυπο ενός προγράμματος ανάπτυξης δεξιοτήτων, το οποίο μπορεί να περιλαμβάνει πλήθος δραστηριοτήτων και στόχων, χωρίς να γνωρίζουμε ποια είναι τα αναμενόμενα (και τα μη-αναμενόμενα) αποτελέσματα κάθε δραστηριότητας, είναι σαν να ψάχνουμε στα τυφλά.

Πώς μπορούμε, όμως, να αντιληφθούμε τι πρέπει να περιμένουμε; Η απάντηση σε αυτό το ερώτημα βρίσκεται μέσα στους ίδιους τους δεδηλωμένους στόχους κάθε έργου. Οι άνθρωποι που σχεδιάζουν και υλοποιούν προγράμματα ανάπτυξης δεξιοτήτων είναι συνήθως ειδικοί στον τομέα τους. Κάθε δραστηριότητα ή εργασία που ενσωματώνεται στο πρόγραμμα, επιλέγεται με κάποιο συγκεκριμένο σκοπό, ο οποίος συμβάλλει στην επίτευξη των στόχων του προγράμματος. Επομένως, μελετήστε προσεκτικά κάθε στόχο που αναφέρεται στην περιγραφή του προγράμματος και προσπαθήστε να εντοπίσετε πώς οι δραστηριότητες του προγράμματος συμβάλλουν στην επίτευξή του. Προσέξτε όμως! Οι γενικοί στόχοι συχνά αποτελούνται από μικρότερους στόχους. Έχετε το πάντα κατά νου, εξετάστε κάθε εργασία ξεχωριστά και κατανοείστε πώς συμβάλλει στους σκοπούς του προγράμματος.

Συμβουλή #2: Εστιάστε στα αποτελέσματα, για να υπολογίσετε την πραγματική αλλαγή

Οι στόχοι ενός έργου συχνά διατυπώνονται με συμπεριληπτικό και αφηρημένο τρόπο. Ειδικά σε έργα που περιλαμβάνουν εκπαιδευτικές δραστηριότητες, όπως τα προγράμματα ανάπτυξης δεξιοτήτων, οι στόχοι του προγράμματος συνήθως εστιάζονται περισσότερο σε αυτό που θα μάθουν να κάνουν οι συμμετέχοντες, και όχι σ’ αυτό που θα μπορούν να επιτύχουν. Αυτός είναι ένας πραγματικά μεγάλος μπελάς, όταν μιλάμε για εκτίμηση αντίκτυπου. Δεν είναι ασυνήθιστο ένα έργο να επιτυγχάνει τους στόχους του, αλλά ο αντίκτυπος του να είναι μηδαμινός.
Επομένως, μελετήστε προσεκτικά κάθε στόχο που αναφέρεται στην περιγραφή του προγράμματος και προσπαθήστε να οραματιστείτε πώς θα αντικατοπτρίζεται στις επιδόσεις των συμμετεχόντων. Προσπαθήστε να φανταστείτε πώς θα επηρεάσει τη συμπεριφορά τους και στη συνέχεια μεταφράστε το σε κάποιο μετρήσιμο μέγεθος. Εάν δεν είστε σίγουροι ή πολύ εξοικειωμένοι με το πεδίο μελέτης του προγράμματος, συμβουλευτείτε τους ειδικούς που σχεδίασαν το πρόγραμμα ή ζητήστε τους να διευκρινίσουν τι προσπαθούν να επιτύχουν στην πράξη, με κάθε έναν από τους στόχους που έχουν θέσει. Με αυτόν τον τρόπο θα αποφύγετε τον σχεδιασμό αναποτελεσματικών εργαλείων και τη μέτρηση ακατάλληλων μεταβλητών, που μπορεί να δείχνουν ότι οι στόχοι έχουν την ώρα που ο πραγματικός αντίκτυπος του έργου είναι μηδενικός.

Συμβουλή #3: «Βάλτε τους όλους στο κόλπο»!

Η εκτίμηση του αντίκτυπου σύνθετων έργων, που ενδεχομένως να περιλαμβάνουν πολυάριθμες δραστηριότητες και αλληλένδετους στόχους, όπως τα προγράμματα ανάπτυξης δεξιοτήτων, είναι ένα αρκετά κοπιαστικό εγχείρημα και ενέχει διάφορα ρίσκα. Η συνεργασία είναι απαραίτητη, καθώς όλα τα εμπλεκόμενα μέρη θα χρειαστεί να συμβάλλουν σε κάποιο σημείο της διαδικασίας. Η διαβούλευση με τους εμπειρογνώμονες που σχεδίασαν το πρόγραμμα είναι μόνο μια πτυχή των αναγκαίων συνεργασιών. Η συμμετοχή συντονιστών, εκπαιδευτών, διοργανωτών, καθώς και συμμετεχόντων, μπορεί να είναι επίσης απαραίτητη σε ορισμένα σημεία της διαδικασίας (ανάλογα με τα εργαλεία και τις μεθόδους που εφαρμόζονται σε κάθε περίπτωση). Από αυτή την άποψη, πολλά πράγματα μπορούν να πάνε στραβά (από την αποτυχία συλλογής επαρκών δεδομένων μέχρι τη συλλογή δεδομένων που είναι εντελώς ακατάλληλα ή στρεβλά) και να επηρεάσουν το αποτέλεσμα της εκτίμησης αντίκτυπου.

Φροντίστε λοιπόν να επικοινωνήσετε τις απαιτήσεις του σχεδίου εκτίμησης αντίκτυπου σε όλα τα εμπλεκόμενα μέρη, για να διασφαλίσετε ότι η διαδικασία είναι σαφής, και να έχετε πάντα ένα σχέδιο έκτακτης ανάγκης. Ιδανικά, προετοιμάστε και παρουσιάστε τη μεθοδολογία σας σε όλους τους ενδιαφερόμενους και πραγματοποιήστε πιλοτικές συνεδρίες αξιολόγησης, πριν ξεκινήσει η φάση της πραγματικής εφαρμογής του προγράμματος.

Συμβουλή #4: Επανέλθετε!

Ο αντίκτυπος ενός προγράμματος δεν γίνεται πάντοτε άμεσα ορατός. Στην πραγματικότητα, όταν πρόκειται για εγχειρήματα ανάπτυξης δεξιοτήτων, τα αποτελέσματα του προγράμματος μπορεί να χρειαστούν μήνες για να υλοποιηθούν, ώστε να αρχίσουν να επιφέρουν πραγματικές αλλαγές και να επηρεάζουν τα αποτελέσματα. Οι αλλαγές καθιερωμένων εργασιακών πρακτικών απαιτούν χρόνο, ενώ η εκμάθηση της χρήσης νέων εργαλείων ή δεξιοτήτων χρειάζεται εξάσκηση μέχρι να τελειοποιηθεί.

Να είστε υπομονετικοί! Προγραμματίστε βραχυπρόθεσμες, μεσοπρόθεσμες και (εάν είναι δυνατόν) μακροπρόθεσμες δραστηριότητες εκτίμησης αντίκτυπου. Σε περίπτωση που τα ευρήματά σας το υποδεικνύουν, μη διστάζετε να επανέλθετε και να αξιοποιήσετε τα αποτελέσματα της αξιολόγησής σας για να προτείνετε υποστηρικτικές δραστηριότητες. Τέλος, κοινοποιήστε τα συμπεράσματα σας σε όλους τους ενδιαφερόμενους, κάθε φορά που ολοκληρώνετε έναν γύρο αξιολόγησής. Κανένας δεν θα εντείνει τις προσπάθειές του εάν δεν είναι ενήμερος ότι πρέπει να το κάνει.

[ΣΗΜΕΙΩΣΗ: Θα πρέπει να σημειωθεί ότι τα σημεία που αναλύονται σε αυτό το άρθρο, μπορούν να βρουν εφαρμογή και στην εκτίμηση αντίκτυπου του προγράμματος δικτύωσης και ανάπτυξης συνεργασιών του AfriConEU. Ωστόσο, η εκτίμηση αντίκτυπου για προγράμματα δικτύωσης παρουσιάζει τις δικές της ιδιαιτερότητες, καθώς αυτού του είδους τα εγχειρήματα περιλαμβάνουν δραστηριότητες, για τις οποίες χρειάζονται διαφορετικές τεχνικές αξιολόγησης που ξεφεύγουν από το πεδίο ενδιαφέροντος του παρόντος άρθρου].