Identifying and Handling Missing Data (Nulls, NaNs)

ডেটা অ্যানালাইসিস বা মেশিন লার্নিং নিয়ে কাজ করছেন? তাহলে ডেটার মধ্যে "মিসিং ডেটা" বা "নাল ভ্যালু" নিশ্চয়ই আপনার চোখে পড়েছে। এই মিসিং ডেটাগুলো কিন্তু ছোটখাটো সমস্যা নয়, বরং ডেটা অ্যানালাইসিসের সময় বড় মাথাব্যথার কারণ হতে পারে। ধরুন, আপনি বাংলাদেশের কোনো এলাকার মানুষের গড় আয় বের করতে চাচ্ছেন, কিন্তু কিছু মানুষের আয়ের তথ্যই নেই! তখন কী হবে? আপনার হিসাব কি সঠিক হবে? একদমই না।

এই ব্লগ পোস্টে আমরা সহজভাবে আলোচনা করব যে কীভাবে এই মিসিং ডেটাগুলো চিহ্নিত করা যায় এবং কীভাবে সেগুলোকে স্মার্টলি হ্যান্ডেল করা যায়, যাতে আপনার ডেটা অ্যানালাইসিস বা মডেলিংয়ের ফলাফল আরও নির্ভুল ও বিশ্বাসযোগ্য হয়। চলুন তাহলে শুরু করা যাক!

মিসিং ডেটা কেন এত গুরুত্বপূর্ণ?

মিসিং ডেটা মানে আপনার ডেটাসেটে কিছু তথ্যের অনুপস্থিতি। এই অনুপস্থিতি বিভিন্ন কারণে হতে পারে – হয়তো ডেটা সংগ্রহের সময় ভুল হয়েছে, অথবা কেউ তথ্য দিতে চায়নি, কিংবা ডেটা এন্ট্রি করার সময় ভুলবশত কিছু ঘর ফাঁকা রয়ে গেছে। আমাদের দেশের প্রেক্ষাপটে, যেমন ধরুন, কোনো জরিপ করার সময় অনেকক্ষেত্রে দেখা যায় উত্তরদাতারা কিছু প্রশ্নের উত্তর দিতে স্বাচ্ছন্দ্যবোধ করেন না, অথবা ইন্টারনেট সংযোগের সমস্যার কারণে অনলাইনে ডেটা এন্ট্রি করার সময় কিছু তথ্য হারিয়ে যায়।

এই মিসিং ডেটাগুলো আপনার অ্যানালাইসিসকে ভুল পথে চালিত করতে পারে। যেমন:

• ভুল সিদ্ধান্ত: যদি আপনার ডেটায় অনেক মিসিং ভ্যালু থাকে, তাহলে আপনার অ্যানালাইসিস থেকে আসা সিদ্ধান্তগুলো ভুল হতে পারে।
• মডেলের কার্যকারিতা কমা: মেশিন লার্নিং মডেলে মিসিং ডেটা থাকলে মডেল ঠিকভাবে শিখতে পারে না, ফলে তার ভবিষ্যদ্বাণী করার ক্ষমতা কমে যায়।
• বায়াস: অনেক সময় মিসিং ডেটা কোনো নির্দিষ্ট প্যাটার্ন অনুসরণ করে, যা আপনার ডেটাসেটে বায়াস তৈরি করতে পারে।

মিসিং ডেটা চিহ্নিত করার উপায়

মিসিং ডেটা চিহ্নিত করাটা প্রথম এবং সবচেয়ে গুরুত্বপূর্ণ ধাপ। চলুন দেখি কীভাবে আমরা এই কাজটি করতে পারি।

ডেটা ভিজ্যুয়ালাইজেশন

ডেটা ভিজ্যুয়ালাইজেশন মিসিং ডেটা চিহ্নিত করার একটি সহজ উপায়। বিভিন্ন ধরণের প্লট ব্যবহার করে আপনি ডেটার মধ্যে অনুপস্থিতি দেখতে পারবেন।

হিটম্যাপ (Heatmap)

হিটম্যাপ ব্যবহার করে আপনি ডেটাসেটের প্রতিটি কলামে মিসিং ভ্যালুগুলোর প্যাটার্ন দেখতে পারবেন। যেখানে মিসিং ভ্যালু আছে, সেখানে সাধারণত একটি ভিন্ন রঙে দেখানো হয়।

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# উদাহরণ ডেটাফ্রেম তৈরি
data = {
    'নাম': ['রহিম', 'করিম', 'আসিফ', 'তানহা', 'সাদিয়া'],
    'বয়স': [25, 30, None, 22, 28],
    'শহর': ['ঢাকা', 'চট্টগ্রাম', 'সিলেট', None, 'খুলনা'],
    'শিক্ষাগত_যোগ্যতা': ['স্নাতক', 'স্নাতকোত্তর', 'স্নাতক', 'ডিপ্লোমা', None]
}
df = pd.DataFrame(data)

# মিসিং ভ্যালু হিটম্যাপ
plt.figure(figsize=(8, 6))
sns.heatmap(df.isnull(), cbar=False, cmap='viridis')
plt.title('মিসিং ডেটা হিটম্যাপ')
plt.show()

এই হিটম্যাপে, যদি কোনো কলামে মিসিং ডেটা থাকে, তাহলে সেই জায়গাগুলো ভিন্ন রঙে প্রদর্শিত হবে।

বার প্লট (Bar Plot)

প্রতিটি কলামে কতগুলো মিসিং ভ্যালু আছে, তা বার প্লটের মাধ্যমে সহজে দেখা যায়।

# প্রতিটি কলামে মিসিং ভ্যালুর সংখ্যা
missing_values = df.isnull().sum()
missing_values = missing_values[missing_values > 0] # শুধু যেসব কলামে মিসিং ভ্যালু আছে
missing_values.plot(kind='bar', figsize=(10, 6))
plt.title('প্রতিটি কলামে মিসিং ভ্যালুর সংখ্যা')
plt.xlabel('কলামের নাম')
plt.ylabel('মিসিং ভ্যালুর সংখ্যা')
plt.show()

কোড ব্যবহার করে চিহ্নিতকরণ

প্রোগ্রামিং ল্যাঙ্গুয়েজ যেমন পাইথন ব্যবহার করে খুব সহজে মিসিং ডেটা চিহ্নিত করা যায়।

isnull() এবং sum() ফাংশন

পান্ডাস লাইব্রেরির isnull() ফাংশন ব্যবহার করে ডেটাসেটের প্রতিটি সেলে মিসিং ভ্যালু আছে কিনা তা পরীক্ষা করা যায়। এরপর sum() ফাংশন ব্যবহার করে প্রতিটি কলামে মোট কতগুলো মিসিং ভ্যালু আছে তা বের করা যায়।

# প্রতিটি কলামে মিসিং ভ্যালুর সংখ্যা
print(df.isnull().sum())

![Enhanced Content Image](https://im.runware.ai/image/ws/2/ii/7267e5ff-aeec-4afc-be3f-32bb865f718a.webp)

# মোট মিসিং ভ্যালুর সংখ্যা
print(f"\nমোট মিসিং ভ্যালুর সংখ্যা: {df.isnull().sum().sum()}")

# শতকরা হিসেবে মিসিং ভ্যালুর সংখ্যা
print("\nশতকরা হিসেবে মিসিং ভ্যালুর সংখ্যা:")
print((df.isnull().sum() / len(df)) * 100)

আউটপুট:

নাম               0
বয়স              1
শহর              1
শিক্ষাগত_যোগ্যতা    1
dtype: int64

মোট মিসিং ভ্যালুর সংখ্যা: 3

শতকরা হিসেবে মিসিং ভ্যালুর সংখ্যা:
নাম                0.0
বয়স               20.0
শহর               20.0
শিক্ষাগত_যোগ্যতা     20.0
dtype: float64

এই কোড আপনাকে দেখাবে কোন কলামে কতগুলো মিসিং ভ্যালু আছে এবং মোট কত শতাংশ ডেটা মিসিং।

মিসিং ডেটা হ্যান্ডেল করার উপায়

মিসিং ডেটা চিহ্নিত করার পর আসে সেগুলোকে হ্যান্ডেল করার পালা। এখানে আমরা কিছু জনপ্রিয় কৌশল নিয়ে আলোচনা করব।

১. ডেটা ডিলিট করা (Deletion)

যদি মিসিং ডেটার পরিমাণ খুব কম হয় অথবা সেগুলো কোনো নির্দিষ্ট প্যাটার্ন অনুসরণ না করে, তাহলে ডেটা ডিলিট করা একটি সহজ সমাধান হতে পারে।

সারি ডিলিট করা (dropna())

যদি কোনো সারিতে (row) মিসিং ভ্যালু থাকে এবং আপনি মনে করেন সেই সারিটি আপনার অ্যানালাইসিসের জন্য গুরুত্বপূর্ণ নয়, তাহলে সেই সারিটি ডিলিট করে দিতে পারেন।

# মিসিং ভ্যালু আছে এমন সারিগুলো ডিলিট করা
df_dropped_rows = df.dropna()
print("\nসারি ডিলিট করার পর ডেটাফ্রেম:")
print(df_dropped_rows)

আউটপুট:

সারি ডিলিট করার পর ডেটাফ্রেম:
      নাম  বয়স      শহর শিক্ষাগত_যোগ্যতা
0    রহিম  25.0      ঢাকা       স্নাতক
1    করিম  30.0  চট্টগ্রাম    স্নাতকোত্তর
4  সাদিয়া  28.0     খুলনা       None

এখানে খেয়াল করুন, 'সাদিয়া'র শিক্ষাগত_যোগ্যতা 'None' থাকায়, এই সারিটিও ডিলিট হয়ে গেছে।

কলাম ডিলিট করা (dropna(axis=1))

যদি কোনো কলামে অনেক বেশি মিসিং ভ্যালু থাকে (যেমন ৯০% এর বেশি), তাহলে সেই কলামটি ডিলিট করে দেওয়া বুদ্ধিমানের কাজ হতে পারে। কারণ এত বেশি মিসিং ভ্যালু থাকলে সেই কলাম থেকে অর্থপূর্ণ কোনো তথ্য পাওয়া কঠিন।

# যদি কোনো কলামে ৫০% এর বেশি মিসিং ভ্যালু থাকে, তবে সেই কলাম ডিলিট করা
threshold = 0.5 * len(df) # 50%
df_dropped_cols = df.dropna(axis=1, thresh=threshold)
print("\nকলাম ডিলিট করার পর ডেটাফ্রেম:")
print(df_dropped_cols)

এই উদাহরণে, আমাদের ডেটাসেটে কোনো কলামে ৫০% এর বেশি মিসিং ভ্যালু নেই, তাই কোনো কলাম ডিলিট হবে না।

কখন ডিলিট করবেন না?

• যদি আপনার ডেটাসেটে মিসিং ডেটার পরিমাণ অনেক বেশি হয়।
• যদি মিসিং ডেটা কোনো নির্দিষ্ট প্যাটার্নে থাকে (যেমন, যারা কম আয় করেন, তাদের আয়ের তথ্য বেশি মিসিং)।

২. ইম্পুটেশন (Imputation)

ইম্পুটেশন মানে হলো মিসিং ডেটাগুলোকে কোনো লজিক্যাল ভ্যালু দিয়ে পূরণ করা। এটি ডেটা ডিলিট করার চেয়ে ভালো উপায়, কারণ এতে আপনি ডেটা হারানো থেকে বাঁচেন।

গড় (Mean), মধ্যমা (Median), বা মোড (Mode) দিয়ে পূরণ করা

এটি মিসিং ডেটা পূরণ করার একটি সাধারণ পদ্ধতি।

• গড় (Mean): সংখ্যাবাচক ডেটার জন্য এটি ভালো কাজ করে, যদি ডেটাসেটে আউটলায়ার না থাকে।
• মধ্যমা (Median): যদি ডেটাসেটে আউটলায়ার থাকে, তাহলে মধ্যমা ব্যবহার করা ভালো, কারণ এটি আউটলায়ার দ্বারা প্রভাবিত হয় না।
• মোড (Mode): ক্যাটাগরিক্যাল ডেটা (যেমন শহর, শিক্ষাগত যোগ্যতা) বা সংখ্যাবাচক ডেটার জন্য মোড ব্যবহার করা যায়।

# গড় দিয়ে 'বয়স' কলামের মিসিং ভ্যালু পূরণ
df['বয়স'].fillna(df['বয়স'].mean(), inplace=True)

<iframe width="560" height="315" src="https://www.youtube.com/embed/EaGbS7eWSs0" frameborder="0" allowfullscreen></iframe>

# মোড দিয়ে 'শহর' কলামের মিসিং ভ্যালু পূরণ
df['শহর'].fillna(df['শহর'].mode()[0], inplace=True)

# মোড দিয়ে 'শিক্ষাগত_যোগ্যতা' কলামের মিসিং ভ্যালু পূরণ
df['শিক্ষাগত_যোগ্যতা'].fillna(df['শিক্ষাগত_যোগ্যতা'].mode()[0], inplace=True)

print("\nইম্পুটেশন করার পর ডেটাফ্রেম:")
print(df)

আউটপুট:

ইম্পুটেশন করার পর ডেটাফ্রেম:
      নাম    বয়স      শহর শিক্ষাগত_যোগ্যতা
0    রহিম  25.00      ঢাকা       স্নাতক
1    করিম  30.00  চট্টগ্রাম    স্নাতকোত্তর
2    আসিফ  26.25      সিলেট       স্নাতক
3    তানহা  22.00      ঢাকা       ডিপ্লোমা
4  সাদিয়া  28.00     খুলনা       স্নাতক

এখানে দেখুন, 'আসিফ'-এর বয়স গড়ের মান (26.25) দিয়ে পূরণ হয়েছে, 'তানহা'-র শহর মোড (ঢাকা) দিয়ে পূরণ হয়েছে এবং 'সাদিয়া'-র শিক্ষাগত_যোগ্যতা মোড (স্নাতক) দিয়ে পূরণ হয়েছে।

ফরওয়ার্ড ফিল (Forward Fill – ffill()) এবং ব্যাকওয়ার্ড ফিল (Backward Fill – bfill())

• ফরওয়ার্ড ফিল: এটি মিসিং ভ্যালুগুলোকে তার আগের ভ্যালু দিয়ে পূরণ করে। ধরুন, একটি ডেটাসেটে পরপর কিছু তারিখ আছে, কিন্তু মাঝখানে একটি তারিখের ডেটা নেই। তখন আগের দিনের ডেটা দিয়ে এটি পূরণ করা যেতে পারে।
• ব্যাকওয়ার্ড ফিল: এটি মিসিং ভ্যালুগুলোকে তার পরের ভ্যালু দিয়ে পূরণ করে।

# নতুন ডেটাফ্রেম তৈরি করে উদাহরণ
data_seq = {
    'তারিখ': ['২০২৩-০১-০১', '২০২৩-০১-০২', None, '২০২৩-০১-০৪', '২০২৩-০১-০৫'],
    'বিক্রি': [100, 120, None, 130, 150]
}
df_seq = pd.DataFrame(data_seq)

![Enhanced Content Image](https://im.runware.ai/image/ws/2/ii/6771d721-c1fd-4ccb-b2f7-5c6ae32a0448.webp)

print("\nঅরিজিনাল ডেটাফ্রেম (সিকোয়েন্স):")
print(df_seq)

# ফরওয়ার্ড ফিল
df_ffill = df_seq.fillna(method='ffill')
print("\nফরওয়ার্ড ফিল করার পর:")
print(df_ffill)

# ব্যাকওয়ার্ড ফিল (মূল df_seq থেকে আবার শুরু)
df_bfill = df_seq.fillna(method='bfill')
print("\nব্যাকওয়ার্ড ফিল করার পর:")
print(df_bfill)

উন্নত ইম্পুটেশন কৌশল

• কে-নিয়ারেস্ট নেইবারস (K-Nearest Neighbors – KNN) ইম্পুটেশন: এই পদ্ধতিতে মিসিং ভ্যালুগুলোকে তাদের কাছাকাছি থাকা ডেটা পয়েন্টগুলোর (নেইবর) গড় বা মোড দিয়ে পূরণ করা হয়।
• মেশিন লার্নিং মডেল ব্যবহার করে ইম্পুটেশন: কিছু মেশিন লার্নিং মডেল, যেমন IterativeImputer (Sklearn-এর experimental মডিউলে আছে), অন্যান্য কলামের উপর ভিত্তি করে মিসিং ভ্যালুগুলোর ভবিষ্যদ্বাণী করে। এটি বেশ কার্যকর, কিন্তু তুলনামূলকভাবে জটিল।

৩. মিসিং ডেটা একটি আলাদা ক্যাটাগরি হিসেবে রাখা

কিছু ক্ষেত্রে, মিসিং ডেটা নিজেই একটি গুরুত্বপূর্ণ তথ্য বহন করতে পারে। যেমন, যদি কোনো ব্যক্তি একটি নির্দিষ্ট প্রশ্নের উত্তর না দেন, তাহলে "উত্তর দেয়নি" এই তথ্যটি নিজেই একটি প্যাটার্ন হতে পারে। এই ক্ষেত্রে, আপনি মিসিং ভ্যালুগুলোকে একটি নতুন ক্যাটাগরি "Unknown" বা "Not Applicable" দিয়ে পূরণ করতে পারেন।

# 'শিক্ষাগত_যোগ্যতা' কলামে None থাকলে 'অজানা' দিয়ে পূরণ করা
df_new_category = df.copy() # মূল ডেটাফ্রেম পরিবর্তন না করে কপি করা
df_new_category['শিক্ষাগত_যোগ্যতা'].fillna('অজানা', inplace=True)
print("\n'অজানা' ক্যাটাগরি দিয়ে পূরণ করার পর:")
print(df_new_category)

৪. অ্যালগরিদম ব্যবহার করা যা মিসিং ডেটা হ্যান্ডেল করতে পারে

কিছু মেশিন লার্নিং অ্যালগরিদম inherently মিসিং ডেটা হ্যান্ডেল করতে পারে। যেমন:

• XGBoost, LightGBM, CatBoost: এই গ্রাডিয়েন্ট বুস্টিং অ্যালগরিদমগুলো মিসিং ডেটা সরাসরি হ্যান্ডেল করতে পারে। এদেরকে আলাদাভাবে ইম্পুটেশন করার প্রয়োজন হয় না।
• ডিসিশন ট্রি ভিত্তিক অ্যালগরিদম: ডিসিশন ট্রি এবং র্যান্ডম ফরেস্টের মতো অ্যালগরিদমগুলো মিসিং ডেটা নিয়ে কাজ করতে পারে, যদিও তাদের পারফরম্যান্স ইম্পুটেশনের পর আরও ভালো হতে পারে।

কোন পদ্ধতি কখন ব্যবহার করবেন?

এটি আসলে আপনার ডেটাসেট, মিসিং ডেটার পরিমাণ এবং মিসিং ডেটার কারণের উপর নির্ভর করে। এখানে একটি সাধারণ গাইডলাইন দেওয়া হলো:

পরিস্থিতি	প্রস্তাবিত পদ্ধতি
মিসিং ডেটার পরিমাণ খুব কম (১-৫%)	ডিলিট (যদি ডেটাসেট বড় হয়), গড়/মধ্যমা/মোড ইম্পুটেশন
মিসিং ডেটার পরিমাণ মাঝারি (৫-২০%)	গড়/মধ্যমা/মোড ইম্পুটেশন, ফরওয়ার্ড/ব্যাকওয়ার্ড ফিল, কে-নিয়ারেস্ট নেইবারস ইম্পুটেশন, নতুন ক্যাটাগরি হিসেবে রাখা
মিসিং ডেটার পরিমাণ অনেক বেশি (২০% এর বেশি)	কলাম ডিলিট (যদি কলামটি গুরুত্বপূর্ণ না হয়), উন্নত ইম্পুটেশন কৌশল (যেমন মেশিন লার্নিং মডেল), অথবা মিসিং ডেটা নিজেই একটি তথ্য কিনা তা পরীক্ষা করা
মিসিং ডেটা কোনো প্যাটার্ন অনুসরণ করে	নতুন ক্যাটাগরি হিসেবে রাখা, উন্নত ইম্পুটেশন কৌশল, অথবা প্যাটার্নটি বিশ্লেষণ করে কারণ খুঁজে বের করা
সময়ভিত্তিক ডেটা (Time Series Data)	ফরওয়ার্ড/ব্যাকওয়ার্ড ফিল, ইন্টারপোলেশন

কিছু গুরুত্বপূর্ণ বিষয় মনে রাখা

• মিসিং ডেটার কারণ: ডেটা ইম্পুট করার আগে বোঝার চেষ্টা করুন কেন ডেটা মিসিং হয়েছে। কারণ জানা থাকলে সঠিক পদ্ধতি বেছে নেওয়া সহজ হয়।
• ডেটা বায়াস: ইম্পুটেশনের পর ডেটাসেটে কোনো বায়াস তৈরি হচ্ছে কিনা, তা পরীক্ষা করুন।
• পরীক্ষা ও পুনরাবৃত্তি: একবারে সঠিক পদ্ধতি নাও পেতে পারেন। বিভিন্ন পদ্ধতি প্রয়োগ করে দেখুন কোনটি আপনার ডেটাসেটের জন্য সবচেয়ে ভালো কাজ করে।

কী টেকঅ্যাওয়েস (Key Takeaways)

• মিসিং ডেটা: ডেটা অ্যানালাইসিসের একটি সাধারণ কিন্তু গুরুত্বপূর্ণ সমস্যা যা ফলাফলকে প্রভাবিত করতে পারে।
• শনাক্তকরণ: পাইথনের isnull().sum() ব্যবহার করে মিসিং ডেটা সহজে চিহ্নিত করা যায়। ভিজ্যুয়ালাইজেশনের জন্য হিটম্যাপ ও বার প্লট কার্যকর।
• হ্যান্ডেলিং কৌশল:
  • ডিলিট করা: যদি মিসিং ডেটার পরিমাণ খুব কম হয় বা কলামটি অপ্রয়োজনীয় হয়।
  • ইম্পুটেশন: গড়, মধ্যমা, মোড, ফরওয়ার্ড/ব্যাকওয়ার্ড ফিল, বা উন্নত অ্যালগরিদম (যেমন KNN) ব্যবহার করে মিসিং ডেটা পূরণ করা। এটি ডেটা হারানোর ঝুঁকি কমায়।
  • নতুন ক্যাটাগরি: মিসিং ডেটা যদি নিজেই একটি অর্থপূর্ণ তথ্য বহন করে, তাহলে সেটিকে একটি নতুন ক্যাটাগরি হিসেবে রাখা।
  • বিশেষ অ্যালগরিদম: কিছু মেশিন লার্নিং মডেল (XGBoost, LightGBM) মিসিং ডেটা সরাসরি হ্যান্ডেল করতে পারে।
• গুরুত্বপূর্ণ বিবেচনা: মিসিং ডেটার কারণ বোঝা, ডেটা বায়াস এড়ানো, এবং বিভিন্ন কৌশল পরীক্ষা করে দেখা।

সচরাচর জিজ্ঞাস্য প্রশ্ন (FAQ)

প্রশ্ন ১: "Null", "NaN", "None" এবং "NA" এর মধ্যে পার্থক্য কী?

উত্তর: এই শব্দগুলো সবই অনুপস্থিত ডেটা বোঝাতে ব্যবহৃত হয়, তবে এদের মধ্যে সামান্য পার্থক্য রয়েছে এবং বিভিন্ন প্রোগ্রামিং ভাষা বা ডেটাবেসে এদের ব্যবহার ভিন্ন হতে পারে:

• Null (নাল): এটি একটি ডেটাবেস কনসেপ্ট, যা বোঝায় যে একটি ভ্যালু অনুপস্থিত বা অজানা। এটি কোনো ডেটা টাইপের অংশ নয়; বরং একটি মার্কার যা ডেটার অনুপস্থিতি নির্দেশ করে।
• NaN (নট আ নাম্বার): এটি ফ্লোটিং-পয়েন্ট (দশমিক) গণনায় ব্যবহৃত হয় যখন ফলাফলটি একটি বৈধ সংখ্যা নয় (যেমন, ০ দিয়ে ভাগ করা হলে)। পান্ডাস বা নামপাই-এ সংখ্যাবাচক কলামে মিসিং ভ্যালু বোঝাতে এটি ব্যাপকভাবে ব্যবহৃত হয়।
• None (নন): এটি পাইথনের একটি বিল্ট-ইন সিঙ্গেলটন অবজেক্ট, যা একটি ভ্যালুর অনুপস্থিতি নির্দেশ করে। পান্ডাস ডেটাফ্রেমে অবজেক্ট টাইপের কলামে (যেমন স্ট্রিং) মিসিং ভ্যালু বোঝাতে এটি ব্যবহার হতে পারে, তবে সংখ্যাবাচক কলামে এটি স্বয়ংক্রিয়ভাবে NaN-এ রূপান্তরিত হয়।
• NA (নট অ্যাভেলেবল): এটি একটি সাধারণ শব্দ, যা ডেটা বিশ্লেষণের ক্ষেত্রে অনুপস্থিত ডেটা বোঝাতে ব্যবহৃত হয়। এটি প্রায়শই Null, NaN, বা None এর একটি সাধারণ প্রতিশব্দ হিসেবে ব্যবহৃত হয়। পান্ডাস-এ isna() বা notna() ফাংশনগুলো মিসিং ডেটা চেক করার জন্য ব্যবহৃত হয়, যেখানে NA অনুপস্থিতিকে বোঝায়।

সহজ কথায়, Null একটি ডেটাবেস ধারণা, NaN গাণিতিক অ-সংখ্যা, None পাইথনের অবজেক্ট অনুপস্থিতি, এবং NA তাদের সবার জন্য একটি সাধারণ পরিভাষা।

প্রশ্ন ২: ইম্পুটেশন কি সবসময় ডেটা অ্যানালাইসিসের ফলকে উন্নত করে?

উত্তর: না, সব সময় করে না। ইম্পুটেশন একটি শক্তিশালী কৌশল হলেও, এর কিছু ঝুঁকি আছে। ভুল ইম্পুটেশন পদ্ধতি ব্যবহার করলে আপনার ডেটাসেটে ভুল প্যাটার্ন তৈরি হতে পারে, ডেটার ভ্যারিয়েন্স (বৈচিত্র্য) কমে যেতে পারে, বা ডেটাসেটে বায়াস তৈরি হতে পারে। যদি মিসিং ডেটাগুলো কোনো নির্দিষ্ট প্যাটার্ন অনুসরণ করে বা তাদের অনুপস্থিতির একটি কারণ থাকে, তাহলে ভুল ইম্পুটেশন আপনার মডেলের কার্যকারিতাকে খারাপ করতে পারে। তাই, ইম্পুটেশন করার পর আপনার মডেলের পারফরম্যান্স পরীক্ষা করা এবং বিভিন্ন ইম্পুটেশন কৌশল নিয়ে পরীক্ষা-নিরীক্ষা করা জরুরি।

প্রশ্ন ৩: যদি আমার ডেটাসেটে অনেক বেশি মিসিং ডেটা থাকে (যেমন ৮০% বা তার বেশি), তাহলে কী করা উচিত?

উত্তর: যদি কোনো কলামে ৮০% বা তার বেশি ডেটা মিসিং থাকে, তাহলে সেই কলামটি থেকে অর্থপূর্ণ তথ্য পাওয়া খুব কঠিন। এই ক্ষেত্রে, সবচেয়ে ভালো উপায় হলো সেই কলামটি ডেটাসেট থেকে বাদ দিয়ে দেওয়া। কারণ এত বেশি মিসিং ডেটা ইম্পুটেশন করলে ডেটাসেটের অরিজিনাল ডিস্ট্রিবিউশন মারাত্মকভাবে পরিবর্তিত হতে পারে এবং আপনার মডেলের ফলাফল ভুল হতে পারে। তবে, যদি সেই কলামটি আপনার অ্যানালাইসিসের জন্য অত্যন্ত গুরুত্বপূর্ণ হয়, তাহলে ডেটা সংগ্রহের প্রক্রিয়াটি আবার পর্যালোচনা করা উচিত।

প্রশ্ন ৪: সময়ভিত্তিক ডেটা (Time Series Data) এর ক্ষেত্রে মিসিং ডেটা হ্যান্ডেল করার বিশেষ কোনো কৌশল আছে কি?

উত্তর: হ্যাঁ, সময়ভিত্তিক ডেটার ক্ষেত্রে কিছু বিশেষ ইম্পুটেশন কৌশল ব্যবহার করা হয়:

• ফরওয়ার্ড ফিল (ffill): আগের পরিচিত ডেটা পয়েন্ট দিয়ে বর্তমানের মিসিং ডেটা পূরণ করা। এটি এমন ডেটার জন্য ভালো যেখানে মানগুলো সময়ের সাথে সাথে খুব বেশি পরিবর্তিত হয় না।
• ব্যাকওয়ার্ড ফিল (bfill): পরের পরিচিত ডেটা পয়েন্ট দিয়ে বর্তমানের মিসিং ডেটা পূরণ করা।
• ইন্টারপোলেশন (interpolate): এটি মিসিং ডেটা পয়েন্টগুলোকে তাদের আশেপাশের ডেটা পয়েন্টগুলোর উপর ভিত্তি করে অনুমান করে। যেমন, লিনিয়ার ইন্টারপোলেশন, ক্যুবিক ইন্টারপোলেশন ইত্যাদি। এটি সময়ের সাথে ডেটার মসৃণ পরিবর্তনশীলতা ধরে রাখার জন্য খুবই কার্যকর।
• রোলিং গড় (Rolling Mean): একটি নির্দিষ্ট উইন্ডো (যেমন, গত ৭ দিনের গড়) ব্যবহার করে মিসিং ডেটা পূরণ করা।

এই পদ্ধতিগুলো সময়ভিত্তিক ডেটার স্বাভাবিক প্যাটার্ন এবং প্রবণতা বজায় রাখতে সাহায্য করে।

প্রশ্ন ৫: মিসিং ডেটা হ্যান্ডেল করার আগে কি ডেটা পরিষ্কার করা (Data Cleaning) জরুরি?

উত্তর: হ্যাঁ, অবশ্যই! মিসিং ডেটা হ্যান্ডেল করার আগে ডেটা পরিষ্কার করা অত্যন্ত জরুরি। ডেটা পরিষ্কার করার মধ্যে ডেটা টাইপ ঠিক করা, ডুপ্লিকেট ডেটা সরানো, আউটলায়ার চিহ্নিত করা এবং অসামঞ্জস্যপূর্ণ ডেটা ঠিক করা ইত্যাদি কাজগুলো অন্তর্ভুক্ত। অপরিষ্কার ডেটায় মিসিং ভ্যালু পূরণ করলে ভুল তথ্য দিয়ে পূরণ হওয়ার সম্ভাবনা থাকে, যা আপনার অ্যানালাইসিসকে আরও জটিল করে তুলবে। তাই, একটি পরিষ্কার ডেটাসেট নিয়ে কাজ করা সবসময়ই ভালো অভ্যাস।

আশা করি এই পোস্টটি আপনাদের মিসিং ডেটা চিহ্নিত করতে এবং সেগুলো বুদ্ধিমানের সাথে হ্যান্ডেল করতে সাহায্য করবে। ডেটা অ্যানালাইসিস একটি ধারাবাহিক প্রক্রিয়া, যেখানে ধৈর্য এবং পরীক্ষা-নিরীক্ষা খুবই জরুরি। শুভ ডেটা অ্যানালাইসিস!