Wyjście z punktozy?

Rok akademicki dobiegł właśnie końca. Odbyły się ostatnie posiedzenia, studenci otrzymali zaliczenia. W końcu można zacząć porządkować biurko i pokój. Planować wakacyjne lektury. Dzisiaj trafiłem na artykuł w znanym periodyku „Nature” Chrisa Woolstona pt. „Impact factor abandoned by Dutch university in hiring and promotion decisions (Holenderski uniwersytet zrezygnował z impact factor przy podejmowaniu decyzji o zatrudnieniu i awansie)”. Problem poruszony w tym tekście zainteresuje chyba każdego pracownika naukowego. Co skłoniło holenderską uczelnię do takiego kroku? Jak zamierza oceniać dokonania naukowe swej kadry?

Remanent

To nie był łatwy rok akademicki. Jego trudy odczuwamy na różnych polach. Bolą plecy, czasem pogorszył się wzrok, widok ekranu budzi niechęć… Zajęcia rozpoczęliśmy stacjonarnie, pełni nadziei (a może naiwności…). Jednak szybko okazało się, że kolejna faza pandemii jest groźna i musimy wrócić do kształcenia online.

Osoby, które w poprzednim semestrze przełamały opór i zaprzyjaźniły z MS Teams, sprawnie wróciły do zajęć na łączach. Pozostałe musiały szybko nadgonić braki (tym razem oferta szkoleń ze strony uczelni była już szeroka).

W tym roku akademickim prowadziłem zajęcia z ciekawymi grupami studentów. W ostatnim semestrze udało mi się zrealizować z nimi kilka praktycznych projektów. Połączenie wiedzy teoretycznej z jej praktycznym zastosowaniem okazało się strzałem w dziesiątkę. Studenci otrzymali, taką mam nadzieję, cały zestaw narzędzi do realizacji w przyszłości swoich własnych projektów w sieci, albo przynajmniej zyskali podstawową orientację co do możliwości ich zastosowania.

O zajęciach w ostatnim semestrze napiszę więcej w osobnym wpisie. Teraz czeka mnie porządkowanie biurka, a właściwie całego pokoju. W ostatnim zwłaszcza semestrze zgromadziłem dużo nowych książek i materiałów. Nie zawsze chciało mi się je ustawiać na półce, zresztą miały być „pod ręką”. Z drugiej strony porządki to dobra okazja do selekcji.

Mogę teraz poświęcić więcej czasu na tematy, które mnie interesują, a które musiały ustąpić miejsca pracy dydaktycznej i bieżącym zadaniom. Jednym z takich tematów jest system oceny dorobku i aktywności naukowej.

Globalna dyskusja

Nie jest to problem nowy. Powraca przy różnych okazjach. Choć system punktowy jest już od dawna wdrażany, wątpliwości nie słabną, może nawet narastają… Zmieniające się regulacje „wyceny” publikacji tylko dolewają oliwy do uniwersyteckiego ognia. Wkrótce dokonana zostanie bowiem ocena dyscyplin naukowych, od której będzie bardzo dużo zależało.

Wprowadzono skomplikowany system, w którym uwzględnia się różne kategorie. Jedną z nich jest wartość punktowa publikacji. Kilka lat temu stworzono listy ministerialne, wydawnictwom i czasopismom przydzielono punkty. A potem je zmieniano, choć ponoć nie zmienia się zasad w trakcie gry.

Nie chcę przytaczać najbardziej jaskrawych przypadków „ręcznego” podkręcania punktacji. Dobrze je wszyscy znamy.

Czy podany wykaz i punktacja posłuży więc w sposób obiektywny i sprawiedliwy do oceny poziomu naszej nauki? Jak się mają lokalne (by nie powiedzieć – peryferyjne) listy ministerialne do globalnej nauki? Czy wprowadzenie tych list zmieni naszą pozycję?

Mam wrażenie, że teraz już nie jakość konkretnych badań i ich prezentacja jest najważniejsza, tylko samo wydawnictwo czy czasopismo, które jest najwyżej punktowane w wykazie ministerialnym. Czy podobne trendy widzimy na świecie?

Holenderski przypadek

Prestiżowe pismo „Nature” opublikowało ciekawy artykuł Chrisa Woostona o przypadku Uniwersytetu w Utrechcie. Warto bliżej go przedstawić. Uniwersytet poinformował, że od 2022 nie będzie stosować impact faktor – standardowej miary sukcesu naukowego – w decyzjach o zatrudnieniu i awansie. Naukowcy będą oceniani na podstawie innych standardów, m.in. zaangażowania w pracę zespołową i promowania otwartej nauki.

Warto w tym miejscu przypomnieć, że na wynik impact faktor składa się liczba publikacji i wskaźnik cytowań czasopism, w których wymieniane są te prace. Z tych też powodów artykuły w wysoko cytowanych czasopismach są wyżej oceniane niż czasopisma, które są rzadziej cytowane. Innym wskaźnikiem jest h-index.

Od jakiegoś czasu na sile zyskują głosy, że tego typu miary powodują „produktywizację” nauki (produktem są oczywiście punkty) i nie oddają tego, co jest istotne dla niej. Utrechcki Program Otwartej Nauki, postawił sobie zadanie wsparcia wielotorowych wysiłków, które mają uczynić badania bardziej przejrzystymi i nastawionymi na współpracę. Specjaliści od otwartej nauki na każdym z wydziałów będą oceniać postępy w publikowaniu materiałów w wolnym dostępie, zaangażowaniu publicznym i dzieleniu się danymi.

Inspiracje

Uniwersytet w Utrechcie sięgnął po wzorce… amerykańskie, co może wydać się na pierwszy rzut oka nieco zaskakujące. Inspiracją była Deklaracja w sprawie oceny badań (DORA), która powstała w 2012 r. na corocznym spotkaniu Amerykańskiego Towarzystwa Biologii Komórkowej. Jej celem miało być „ulepszenie sposobów, w jaki dokonuje się oceny badaczy i wyników badań”. Zaapelowano o porzucenie impact factor jako podstawowego sposobu oceny naukowców.

Deklarację podpisało 20 000 osób i instytucji. Uniwersytet w Utrechcie zrobił to 2019 roku. Uniwersytet podpisał się w tym samym roku także pod dokumentem pt. „Miejsce na każdy talent”. Wezwano w nim do stworzenia systemu uznawania i nagradzania, który „umożliwia dywersyfikację i dynamizację ścieżek kariery”.

Zmiany na uczelni nie są jednoznacznie przyjmowane. Wywołują niepokój młodej kadry, która boi się, że w przypadku niewłączania się innych uczelni do programu, mogą pojawić się trudności z zatrudnieniem i awansem. Przypadek holenderski nie jest jednak odosobniony.

Propozycje europejskie na horyzoncie?

Autor artykułu przytacza wypowiedź Lynn Kamerlin, biochemiczki z Uniwersytetu Uppsala w Szwecji:

Ponieważ otwarta nauka staje się coraz ważniejsza w polityce i podejmowaniu decyzji dotyczących finansowania badań i strategii, myślę – stwierdzała –, że będzie to niemal koniecznością dla instytucji, aby podążać za tym przykładem.

L. Memerlin była członkiem zespołu powołanego przez UE, który w 2019 roku opublikował raport na temat sposobów oceny wkładu naukowców w otwartą naukę (raport jest dostępny w wersji elektronicznej). Banalne jest stwierdzenie, że nauka nie zna granic. Próby zamknięcia jej w narodowe ramy nie mają najmniejszego sensu, a umiędzynarodawianie efektów prac badawczych jest podstawą. Tylko czy system bazujący na uprzywilejowanych, płatnych czasopismach, drogich elitarnych wydawnictwach temu rzeczywiście służy?

Rozważanie różnych modeli oceny i przekonywanie do nich społeczności badaczy wydaje się konieczne. Tylko w ten sposób nauka pozostanie miejscem prawdziwych badań (wybieranych z uwagi na potrzeby i zainteresowanie, a nie potencjalną liczbę punktów) i ich upowszechnienia.

    Krzysztof Ruchniewicz

    historyk, niemcoznawca, profesor tytularny, dyrektor Centrum Studiów Niemieckich i Europejskich im. Willy’ego Brandta, fotograf, bloger i podcaster.

    Wszystkie posty autora
    Jeden komentarz
    • Krzysztof Okoński

      28/06/2021, 10:48

      Myśląc o punktozie, trudno nie wspomnieć o pewnie już kultowym (teraz tak należałoby napisać) artykule Miloša Řezníka „Sammeln Sie Punkte?”. Pytanie o punkty pojawia się przy kasie w supermarkecie i w chwili podjęcia decyzji o miejscu publikacji tekstu. Część osób bez ogródek mówi, że wprawdzie kontakt/konferencja/wykład itd. były ciekawe, ale będą publikować w innym czasopiśmie (a już na pewno nie w tomie zbiorowym).

      Przyznam, że chyba dwa razy zdarzyło mi się odmówić właśnie z tego powodu. Odmowę poprzedziłem grzecznym elaboratem ze wskazaniami na mechanizmy oceny jednostki. Partnerzy z zagranicy przyjęli to ze zdziwieniem, jednak nie tyle z powodu mojego utylitarnego podejścia do publikacji, a raczej ze względu na pamięć o moim aktywnym udziale w imprezie i ogólnie zadowoleniu z zaproszenia na nią. Inni tymczasem w ogóle nie odpowiedzieli na cfp, bo przecież konferencja się skończyła, więc kończymy romans i to nawet bez pozostawania w przyjacielskich stosunkach.

      Skupię się na jednym przykładzie, pokazującym absurdy obecnego systemu: Zeitschrift für Ostmitteleuropa-Forschung, czasopismo o długiej, pięknej tradycji, kiedyś naprawdę nieźle punktowane. Kilka lat temu opublikowałem tam tekst, obecnie piszę dla nich recenzje książek. Z czysto utylitarnych powodów jedno i drugie jest porażką zawodową, bo przecież czasopismo wypadło z listy, a recenzje są zapewne dobre dla ludzi, którzy mają za dużo czasu (edit: ironia). Mniejsza o to.

      Obecność w publikacjach obcojęzycznych jest na pewno szansą na jakże istotny międzynarodowy dialog, w niektórych przypadkach (vide ZfO) już niekoniecznie jest okazją na spijanie punktowej śmietanki. Z drugiej strony zastanawia mnie (choćby w kontekście popularyzacji własnego języka) preferowanie języka angielskiego jako języka obrad i publikacji przez niektóre instytucje zajmujące się m.in. badaniem stosunków polsko-niemieckich. Zdarza się przecież, że autorzy poruszają w nich kwestie istotne wyłącznie w naszym (tj. polsko-niemieckim) kręgu językowym.

      Pomyślmy także o specjalistach z takich dziedzin, jak np. badania dialektu, gwar, współczesnej polszczyzny itp. Poznałem kiedyś autora tekstu o regionalnych gwarach w Polsce, który zamierzał opublikować artykuł o nich w czasopiśmie anglojęzycznym. Oh, really? A co z przykładami, cytatami? Tłumaczyć to na gwarę południowej Walii, czy jak? Jaki jest sens publikować po angielsku tekst o niemiecko-tureckim etnolekcie w literaturze postmigracyjnej? Taki temat ma rację bytu wyłącznie w języku niemieckim.

      Owszem, można to opisać, wyjaśniać, stosować analogie, ale co to zmienia – oczywiście poza przypuszczeniami o zwiększeniu zasięgu/”umiędzynarodowieniu”? Pomijam, że część tych artykułów jest pisana po polsku i następnie przekładana na język obcy przez tłumaczy. Nie oceniam tego, ale gdzie w takim razie miejsce na punktozę za tłumaczenia?

      Nie porównuję tego z pisaniem artykułu, ale zarówno przekład, jak i recenzja (także hasło w leksykonie) to także określony wysiłek, nierzadko umożliwiający dotarcie do szerszego grona odbiorców.

      I tutaj dochodzimy do kolejnego punktu: co chcemy/możemy zrobić w celu popularyzacji nauki w świecie zdominowanym przez Uniwersytet im. Facebooka i YouTuba. A jeszcze nie tak dawno mówiliśmy o „społeczeństwie opartym na wiedzy”….