Przetwarzanie danych masowych (e) 1300-Inf2PDMe-NP
Wykład (WYK) Rok akademicki 2024/25

1. W. McKinney, Python w analizie danych : przetwarzanie danych za pomocą pakietów Pandas i NumPy oraz środowiska IPython, Helion, 2023

2. D. Beazley, Python. Zwięzłe kompendium dla programisty, Helion, 2022

3. Ch. R. Severance, Python dla wszystkich, 2023

online https://py4e.pl/translations/PL/py4e-pl-print-latest.pdf

W1, W2

Kolokwium zaliczeniowe, kryterium oceniania:

[50%, 60%] - dst

(60-70%] - dst+

(70-80%] - dobry

(80-90%] - dobry+

(90-100%] - b.dobry

1. Podstawowe struktury do przechowywania danych:

Typy danych: liczby, tekst, wartości logiczne, struktury (listy, słowniki, ramki danych). Daty i szeregi czasowe: obsługa danych czasowych, przykłady analizy trendów i sezonowości.

2. Import i eksport danych:

Format plików: CSV, JSON, XML, Excel, bazy danych SQL i NoSQL.

Web scraping: pobieranie danych ze stron internetowych.

3. Oczyszczanie i selekcja danych, normalizacja:

Usuwanie braków danych, eliminacja duplikatów, konwersja typów danych.

Normalizacja: skalowanie wartości, usuwanie odchyłek, standaryzacja jednostek.

4. Wiązanie, przekształcenia i agregacja danych, przygotowanie danych do analizy: łączenie tabel, pivotowanie, grupowanie.

Przekształcenia, np. operacje na kolumnach w Pandas, SQL.

5. Operacje na tablicach i wektorach:

Praca z macierzami i wektorami w NumPy, Pandas.

Optymalizacja obliczeń, wykorzystanie operacji wektorowych.

6. Wizualizacja danych:

Tworzenie wykresów, histogramów, wykresów rozrzutu w Matplotlib, Seaborn.

Stylowanie wykresów: etykiety, kolory, legendy.

Analiza danych z logów systemowych i kolektorów ruchu sieciowego

7. Analiza logów systemowych (np. serwery, aplikacje):

Przetwarzanie i analiza ruchu sieciowego, np. analiza pakietów, detekcja anomalii.