Kierownik projektu: mgr inż. Łukasz Roszkowiak

Projekt finansowany przez Narodowe Centrum Nauki w ramach konkursu PRELUDIUM UMO-2013/11/N/ST7/02797.

O czym jest projekt?
Czy wiesz, czym zajmuje się patomorfolog? Jest to bardzo zapracowany lekarz, do którego trafiają fragmenty tkanek, na przykład z wykrytego małego guzka. Dopóki nie zajrzymy do środka guzka i nie obejrzymy jak wyglądają tkanki w jego wnętrzu nie wiemy czy jest to niegroźna zmiana czy śmiertelnie niebezpieczny nowotwór. To właśnie patomorfolog stawia diagnozę po tym jak obejrzy tkankę pod mikroskopem.
Fragment podejrzanej tkanki pobierany jest przez ukłucie specjalną igłą (biopsja) lub podczas operacji. Z gabinetu (lub sali operacyjnej) trafia do laboratorium. Tam przechodzi specjalny proces, po którym jest utwardzony tworząc zwarte bloczki (parafinowe). Bloczki te są następnie krojone na bardzo cienkie płaty, które zostają umieszczone między dwoma szkiełkami. Tak przygotowany preparat można oglądać pod mikroskopem. Patomorfolog na podstawie obserwacji tak przygotowanych wycinków jest w stanie postawić diagnozę. 
Czasami to nie wystarcza. Z bloczków wycinane są dodatkowe płaty tkanki, które są poddawane specjalistycznemu barwieniu (np.: immunohistochemicznemu), które uwidacznia dodatkowe informacje w tkance. Dzięki temu łatwiej jest postawić dobrą diagnozę.
W dzisiejszych czasach wszystko powoli ulega cyfryzacji. Patologia również. Zmienia się w cyfrową patologię. Dzięki skanerom wirtualnych slajdów możliwe jest obserwowanie tkanek nie tylko za pomocą mikroskopu, ale również na ekranie komputera. Dodatkowo możliwe jest wykorzystanie takich narzędzi jak techniki przetwarzania obrazu oraz sztuczna inteligencja.
Analiza tkanki dokonywana przez patomorfologa jest procesem żmudnym i czasochłonnym, a kilku ekspertów może mieć różne zdanie na temat tego samego przypadku. Ocenie podlegają kształty i kolory widoczne w strukturach tkanki, ale równie często konieczne jest policzenie jąder komórkowych w polu widzenia. Patomorfolog dziennie ocenia kilkadziesiąt przypadków, a kiedy musi policzyć setki kolorowych obiektów w każdym z nich, jest to dla niego męczące. Wychodząc na przeciw potrzebom patologów, podjęliśmy się zadania ułatwienia procesu zliczania jąder komórkowych widocznych w próbkach. Opracowaliśmy narzędzie, które stanowi system doradczy ułatwiający pracę patomorfologa w przypadku tkanek poddanych specjalnemu barwieniu. 
Opracowanie tego systemu wymagało pracy z bardzo dużymi obrazami, dzielenia ich na mniejsze fragmenty możliwe do obróbki a następnie łączenia wyników w całość. Okazało się, że zastosowanie równoległych obliczeń i sztucznej inteligencji doprowadziło do efektywnej pracy systemu i nadaje się on do analizy różnych obrazów patomorfologicznych. Dodatkowo narzędzie umożliwia łatwą ręczną weryfikację trudnych do automatycznej klasyfikacji przypadków.
Dzięki stosowaniu tego systemu możliwe jest udoskonalenie i usprawnienie pracy laboratoriów diagnostycznych. Głównym efektem użycia tego systemu, na razie w aspekcie naukowym, a kiedyś w rutynowej diagnostyce, jest szybciej analizowana próbka. Poza tym, nasz system za każdym razem da dokładnie ten sam wynik, podczas gdy porównamy wyniki oceny kilku specjalistów mogą się one różnić. A to wywołuje zakłopotanie. Jednoznaczność wyników oceny wpływa pozytywnie na jakość leczenia oraz obniża koszty. Co najważniejsze, daje to szybszy dostęp do diagnozy a co za tym idzie poprawę komfortu pacjenta. 

Cel badań/Hipoteza
Celem projektu jest zaprojektowanie i wykonanie narzędzia komputerowego wspomagającego pracę w laboratoriach diagnostycznych Zakładów Patologii w ocenie mikromacierzy tkankowych (ang. TMA) barwionych immunohistochemicznie z użyciem DAB&H (3,3' Diaminobenzidine&Haematoxylin) w szczególności w ocenie tkanek pochodzących z biopsji w raku sutka, jak również ocena stworzonego narzędzia w stosunku do istniejących metod oraz w stosunku do wyników manualnej oceny patologa.

Metoda badawcza
W niniejszym projekcie planuje się zastosowanie znanych w przetwarzaniu obrazów metod segmentacji oraz sieci neuronowych, a także nowej metody zaproponowanej przez autora projektu. Metody te będą poddawane ocenie użyteczności do wyznaczania granic i naliczania ilości obiektów immunopozytywnych i immunonegatywnych w obrazach cyfrowych skanowanych z preparatów histopatologicznych przygotowanych metodą TMA. Planowane jest zastosowanie metodologii procesów równoległych realizujących na wielu rdzeniach procesora lub z wykorzystaniem przetwarzania rozproszonego (klaster lub gpgpu) algorytm analizy obrazów pracujący na pojedynczych obszarach zainteresowania (ROI). W związku z tym wybrane fragmenty zostaną podzielone na zachodzące na siebie obszary zainteresowania o prostokątnym kształcie odpowiadające rozmiarem obrazom efektywnie przetwarzanym przez pojedynczy procesor. Kolejnym etapem będzie opracowanie metody łączenia wyników cząstkowych w wynik całkowity (uzgadniania wyników w obszarach zachodzących) oraz dobór optymalnego algorytmu podziału na ROI ze względu na ilość dostępnych procesorów i na rozmiar obszarów zachodzących.
Opracowane narzędzie zostanie ocenione pod względem skuteczność i poprawność działania zarówno metody segmentacji i klasyfikacji jak i oceny preparatu pacjenta jako całości tak w stosunku do rezultatów innych automatycznych i półautomatycznych metod (np.: w stosunku do wyników systemu TMarker, plugin ImageJ i innych), jak i w stosunku do oceny manualnej patologa. System będzie współpracował z użytkownikiem za pomocą graficznego interfejsu na tyle intuicyjnego, aby mógł z niego korzystać lekarz patolog, ale również przeszkolony operator niebędący lekarzem wstępnie przygotowujący dane do obróbki. System będzie klasyfikował jedynie ewidentne obiekty, natomiast obiekty sporne będą prezentowane patologowi, który jednym kliknięciem będzie ją wykluczał z klasyfikacji, lub klasyfikował do obiektów immunopozytywnych lub immunonegatywnych. Narzędzie będzie zawierało moduł pamiętający obiekty w stosunku do których nastąpiło rozstrzygnięcie patologa, aby gromadzić wiedzę pozwalającą na dopracowanie metod analizy w następnej generacji oprogramowania.

Wpływ rezultatów
Analiza tkanki dokonywana przez histopatologa jest procesem żmudnym i czasochłonnym, dlatego jej wynik obarczony jest błędem międzyklasowym i wewnątrzklasowym. Aby zmniejszyć zmienność dokonywanej oceny, proponujemy jej częściową automatyzację z jednoczesnym pozostawieniem lekarzowi decyzji w przypadkach trudnych do rozstrzygnięcia metodami analizy obrazów i klasyfikacji z użyciem sieci neuronowych. Opracowane narzędzie pozwoli na: (1) skrócenie czasu poświęconego przez histopatologa na ocenę preparatu oraz (2) zwiększenia powtarzalności, porównywalności i obiektywizacji oceny ilościowej preparatów. Obie wymienione korzyści mają swoje przełożenia na poprawę jakości leczenia i obniżenia jego kosztów w wymiarze społecznym.

Najważniejsze osiągnięcia:

• Zaprojektowano i wykonano narzędzie komputerowe wspomagające pracę w laboratoriach diagnostycznych w ocenie mikromacierzy tkankowych barwionych immunohistochemicznie z użyciem DAB&H.
• Uzyskana została bardzo dobra detekcja i segmentacja jąder komórkowych w analizowanych obrazach.
• Opracowano autorską metodę podziału skupisk jąder komórkowych (tzw. klastrów) na pojedyncze obiekty z wykorzystaniem rekurencji i transformaty odległościowej.
• Zaimplementowano algorytm zawężania wstępnie wyznaczonego obrysu w celu precyzyjnego wskazania granic obiektu.
• Wykorzystano metody sztucznej inteligencji w celu klasyfikacji zarówno regionów zainteresowania jak i wysegmentowanych obiektów, uzyskując bardzo dobre rezultaty.
• Opracowany system zapewnia: skrócenie czasu oceny preparatu tkankowego oraz obiektywizację i powtarzalność oceny ilościowej.

Publikacje:

• Lukasz Roszkowiak, Anna Korzynska, Dorota Pijanowska; “Short survey: adaptive threshold methods used to segment immunonegative cells from simulated images of follicular lymphoma stained with 3,3'-Diaminobenzidine&Haematoxylin”, Proceedings of the 2015 Federated Conference on Computer Science and Information Systems (IEEE Annals of Computer Science and Information Systems), tom 5, str. 291-295 (10 pkt. MNSiW);
• Lukasz Roszkowiak, Anna Korzynska, Dorota Pijanowska; "Segmentacja immunonegatywnych jąder komórkowych w obrazach barwionych preparatów immunohistochemicznych raka sutka z użyciem DAB&H – analiza wstępna", Abstrakty KKBIB XIX, 2015, str. 189;
• Lukasz Roszkowiak, Anna Korzynska, Krzysztof Siemion, Dorota Pijanowska; „The Influence of Object Refining in Digital Pathology”; Image Processing and Communications Challenges 10. IP&C 2018. Advances in Intelligent Systems and Computing, vol 892. Springer, Cham;
• Lukasz Roszkowiak, Anna Korzynska, Carlos Lopez, Ramon Bosch, Marylene Lejeune, Jakub Zak, Krzysztof Siemion, Dorota Pijanowska; "Nuclei detection methods in DAB&H stained breast cancer biopsy images" (manuskrypt aktualnie w trakcie recenzji w The Journal of Histotechnology)
• Lukasz Roszkowiak, Anna Korzynska, Carlos Lopez, Ramon Bosch, Marylene Lejeune, Dorota Pijanowska; "New way to split the clusters based on distance transform in digital pathology" (manuskrypt aktualnie w trakcie recenzji w EURASIP Journal on Image and Video Processing – IF 1.534)
• "CHISEL: Framework for analysis of DAB&H stained breast cancer biopsy images", publikacja w trakcie przygotowania

Oprogramowanie:
Pliki programów umieszczone na stronie MathWorks FileExchange:
https://www.mathworks.com/matlabcentral/fileexchange/73365-chisel