DATA CLEANING

 Data cleaning adalah proses penting dalam analisis data yang bertujuan untuk membersihkan, memperbaiki, dan mempersiapkan data mentah agar menjadi lebih terstruktur, akurat, dan siap digunakan untuk analisis atau pemrosesan selanjutnya. Proses data cleaning melibatkan serangkaian langkah dan teknik untuk mengatasi berbagai masalah yang dapat ditemui dalam data mentah. Berikut adalah penjelasan rinci tentang data cleaning:

1. Identifikasi Masalah Data:

• Tahap pertama dalam data cleaning adalah mengidentifikasi jenis masalah yang mungkin ada dalam data, seperti kesalahan pengetikan, nilai yang hilang, outlier, duplikat, atau inkonsistensi format.

2. Pemeriksaan Data:

• Data diperiksa secara menyeluruh menggunakan teknik statistik deskriptif atau visualisasi untuk mengidentifikasi masalah potensial seperti distribusi variabel, tren, atau pola.

3. Penanganan Nilai yang Hilang:

• Nilai yang hilang dalam data diidentifikasi dan ditangani dengan berbagai cara, seperti menghapus baris atau kolom dengan nilai yang hilang, mengisi nilai yang hilang dengan rata-rata, median, atau menggunakan teknik imputasi lainnya.

4. Pembersihan Format:

• Format data dinormalisasi agar seragam, misalnya, mengubah format tanggal, angka, atau teks ke format standar.

5. Pembersihan Duplikat:

• Duplikat data diidentifikasi dan dihapus untuk mencegah bias dalam analisis.

6. Penanganan Outlier:

• Outlier yang mungkin ada dalam data diidentifikasi dan dipertimbangkan untuk dihapus, diabaikan, atau diatasi dengan teknik khusus agar tidak mengganggu analisis.

7. Integrasi Data:

• Data dari beberapa sumber diintegrasikan menjadi satu dataset yang lengkap dan konsisten.

8. Transformasi Data:

• Data diubah atau ditransformasi, misalnya, normalisasi data, pengkodean variabel kategorikal, atau pengubahan skala.

9. Validasi Data:

• Data divalidasi setelah proses pembersihan untuk memastikan bahwa tidak ada masalah yang tersisa dan data siap untuk analisis lebih lanjut.

10. Dokumentasi Proses:

• Proses data cleaning didokumentasikan dengan jelas, termasuk langkah-langkah yang diambil, alasan di balik keputusan yang dibuat, dan sumber data.

contoh:

1. Penanganan Nilai yang Hilang: Mengisi nilai yang hilang dengan rata-rata kolom.

Input:

       Output:

2. Pembersihan Duplikat: Menghapus duplikat dari DataFrame.

Input:

      

              Output:

3. Penanganan Outlier: Menghapus outlier dari kolom Usia.

Input:

             Output: