Teleskop Very Rubin wygeneruje niesamowitą ilość danych

Gdy w 2025 roku obserwatorium Very C. Rubin zostanie oddane do użytku, stanie się jednym z najpotężniejszych narzędzi kiedykolwiek dostępnych dla astronomów. Ma rejestrować każdej nocy obrazy ogromnych fragmentów nieba za pomocą 8,4-metrowego zwierciadła i 3,2-gigapikselowej kamery. Każdy taki obraz zostanie przeanalizowany w ciągu 60 sekund, co ma na celu ostrzeganie i informowanie świata nauki o zdarzeniach krótkotrwałych, takich jak wybuchy supernowych. Każdego roku rejestrowanych będzie łącznie 5 petabajtów (czyli 5 000 terabajtów), nowych surowych danych, z czasem udostępnianych astronomom do szczegółowej analizy.

Obserwatorium Rubin to teleskop położony wysoko w chilijskich Andach. 8,4-metrowy teleskop Simonyi Survey Telescope będzie wykorzystywał kamerę cyfrową o najwyższej dostępnej jak dotąd na świecie rozdzielczości, a także największy na świecie obiektyw typu rybie oko. Kamera jest mniej więcej wielkości samochodu i waży prawie 2800 kg. Teleskop porusza się bardzo szybko i będzie w stanie przeskanować całe widoczne niebo południowe co cztery noce. Nic dziwnego, że astronomowie nie mogą się doczekać danych o tak wysokiej rozdzielczości. W nowym artykule opisano już, w jaki sposób te ogromne ilości danych będą przetwarzane, organizowane i rozpowszechniane. Cały proces będzie wymagał kilku ośrodków zlokalizowanych na trzech kontynentach.

Zautomatyzowana detekcja i klasyfikacja obiektów niebieskich będzie oczywiście przeprowadzana przez zaawansowane algorytmy. Ma to docelowo doprowadzić do stworzenia katalogu astronomicznego składającego się z około 20 miliardów galaktyk i 17 miliardów gwiazd oraz powiązanych z nimi właściwości fizycznych. Głównym projektem Obserwatorium będzie też Legacy Survey of Space and Time (LSST) – projekt, w którym planuje się zgromadzenie danych obserwacyjnych na temat ponad 5 milionów obiektów pasa planetoid, 300 000 "trojanów" Jowisza, 100 000 obiektów bliskich Ziemi (NEO) i ponad 40 000 obiektów pasa Kuipera. Teleskop Rubin będzie mapować widoczne nocne niebo co kilka dni, więc wiele z tych obiektów zaobserwowanych zostanie co najmniej setki razy, a dzięki tym powtarzającym się obserwacjom ogromna ilość nowych danych pomoże naukowcom obliczać pozycje i orbity wszystkich badanych obiektów Układu Słonecznego.

Wszystkie obrazy i dane będą natychmiast przesyłane z teleskopu do Ośrodka Bazowego i lokalnego centrum danych w La Serena w Chile, a następnie do trzech różnych centrów przetwarzania danych za pośrednictwem dedykowanych szybkich sieci łączących te wszystkie ośrodki: francuskiego centrum danych CC-IN2P3 w Lyonie, brytyjskiego ośrodka IRIS w Wielkiej Brytanii oraz amerykańskiego centrum dostępu do danych w SLAC National Accelerator Laboratory w Kalifornii. Po wykonaniu zdjęć wszystkie obrazy nieba będą też przetwarzane w trzech różnych skalach czasowych: natychmiastowej (tzw. prompt), dziennej i rocznej. We wspomnianym artykule Hernandez i jego współpracownicy opisują, jak surowe obrazy zebrane każdej nocy będą szybko przetwarzane w ciągu 60 sekund, przy czym obiekty, których jasność lub położenie będzie nagle się zmieniało, będą automatycznie generować i wysyłać w świat specjalne alerty w celu wykrywania i badania kosmicznych zjawisk krótkotrwałych.

W tym procesie, określanym jako Prompt Processing, nie będzie obowiązywał żaden poufny termin związany z alertami – będą one dostępne publicznie natychmiast, ponieważ celem samym w sobie jest błyskawiczne rozesłanie wszystkich informacji o danym zdarzeniu na świat, tak, aby umożliwić szybką klasyfikację i podejmowanie decyzji. Naukowcy szacują, że Prompt Processing może generować nawet miliony alertów dziennie!

Tzw. codzienne produkty, publikowane w ciągu 24 godzin od momentu wykonania obserwacji, będą zawierać obrazy z danej nocy obserwacyjnej. Z kolei w corocznych kampaniach obserwacyjnych cały zestaw danych obrazowych zebranych od początku przeglądu będzie ponownie przetwarzany. Dla każdego opublikowanego zbioru danych dostępne będą także obrazy surowe i kalibracyjne oraz gotowe do wykorzystania naukowego zdjęcia, wcześniej przetworzone przy użyciu zaktualizowanych algorytmów. Dostępne będą również katalogi z właściwościami wszystkich wykrytych obiektów astrofizycznych.

Obrazy przesyłane będą z Ośrodka Szczytowego (Summit Site) w Chile, gdzie znajduje się sam teleskop, do Ośrodka Bazowego (Base Site), a następnie do trzech Centrów Danych Obserwatorium Rubin (Rubin Data Facilities), które wspólnie dysponują mocą obliczeniową niezbędną do przetwarzania obrazów wykonanych przez Obserwatorium w czasie trwania przeglądu. Źródło: Vera Rubin Observatory

Całkowita wielkość opublikowanych produktów danych generowanych przez coroczne przetwarzanie zgromadzonego zbioru nieprzetworzonych obrazów ma być około 2,3 razy większa od wielkości wejściowego zbioru danych w danym roku. Szacuje się, że do końca trwania przeglądu wyniesie ponad sto petabajtów – piszą astronomowie. Stwierdzili również, że w ciągu dziesięciu lat badań ilość danych udostępnionych do analiz naukowych wzrośnie o jeden rząd wielkości.

Obserwatorium Rubin będzie wykorzystywać kilka rodzajów produktów i usług do archiwizacji i rozpowszechniania danych w różnych zespołach naukowych. W dokumencie czytamy, że potoki naukowe Rubin LSST składają się z około 80 różnych rodzajów zadań, które zostały wdrożone w oparciu o wspólną bazę kodów algorytmicznych i specjalistyczne oprogramowanie. Dostępna jest też funkcja Data Butler, będąca rozwiązaniem programowym, które pozwala na usunięcie nie zawsze potrzebnych szczegółów dostępu do danych (w tym lokalizacji danych, ich formatu i protokołów dostępu).

Każdego roku opracowywane będą dane, które zostaną następnie udostępnione zespołom naukowym celem ich wykorzystania w czterech głównych dziedzinach nauki LSST, czyli badaniu ciemnej materii i energii, inwentaryzacji obiektów Układu Słonecznego, eksploracji nieba optycznego i mapowaniu Drogi Mlecznej. Ta coroczna publikacja pozwoli na ponowne przetworzenie, połączenie i automatyczne pomiary wszystkich zdjęć wykonanych do tej pory w celu uzyskiwania coraz głębszego obrazu całego nieba południowego oraz rosnącego katalogu obiektów astronomicznych, w którym rejestrowane będą poszczególne zmiany ich jasności w czasie. Coroczne przetwarzanie będzie prowadzone w trzech ośrodkach, a ostateczny zestaw danych zostanie zebrany w SLAC i udostępniony astronomom i fizykom za pośrednictwem platformy naukowej Rubin Science Platform.

Przewiduje się dziś, że dane z Obserwatorium Rubin zostaną w pełni upublicznione po dwóch latach. Kwestia tego, w jaki sposób można będzie uzyskać dostęp do tych danych publicznych i jak ten będzie on finansowany, jest wciąż otwarta.

Czytaj więcej: