• به طور سنتی، داده هایی که ما در اختیار داشتیم بیشتر دارای ساختار و اندازه کوچک بودند که با استفاده از ابزار های ساده BI قابل تحلیل می باشند. بر خلاف داده ها در سیستم های سنتی که بیشتر ساختار داشتند، امروزه بیشتر داده ها بدون ساختار یا به اصطلاح نیمه ساختاری هستند. بیایید نگاهی به روند داده ها در تصویر زیر بیاندازیم که نشان می دهد تا سال ۲۰۲۰، بیش از ۸۰٪ داده ها بدون ساختار بودند.
  این داده ها از منابع مختلف مانند لاگ های مربوط به پرونده های مالی، پرونده های متنی، فرم های چند رسانه ای، حسگر ها و ابزار ها تولید می شوند. ابزار های ساده BI قادر به پردازش این حجم عظیم و تنوع داده نیستند. به همین دلیل است که برای پردازش، تجزیه و تحلیل و ترسیم بینش معنا دار از آن، به ابزار ها و الگوریتم های تحلیلی پیچیده و پیشرفته تری نیاز داریم.

• حال اگر بتوانید از اطلاعات موجود مانند سابقه مرور گذشته مشتری، سابقه خرید، سن و درآمد مشتری، نیاز های دقیق مشتریان خود را درک کنید، بدون شک شما همه این داده ها را زودتر نیز بدست آورده اید، اما اکنون با حجم گسترده و تنوع داده ها، می توانید مدل ها را به طور موثرتری آموزش دهید و محصول را با دقت بیشتری به مشتریان خود توصیه کنید. آیا شگفت آور نیست؟ آیا این مسئله تجارت بیشتری را برای سازمان شما ایجاد نمی کند؟
• بیایید سناریویی متفاوت برای درک نقش Data Science در تصمیم گیری در نظر بگیریم. حال اگر ماشین شما از هوش لازم برای رسیدن شما به خانه برخوردار باشد، چطور؟ اتومبیل های خودران، داده های زنده حسگرها از جمله رادارها، دوربین ها و لیزرها را برای ایجاد نقشه از محیط اطراف خود جمع می کنند. بر اساس این داده ها، تصمیماتی مانند زمان افزایش سرعت، زمان کاهش سرعت، زمان سبقت، دور زدن اتخاذ می شود که همه این موارد با استفاده از الگوریتم های پیشرفته machine learning امکان پذیر می شود.
• بیایید ببینیم چگونه Data Science می تواند در تجزیه و تحلیل های پیش بینی شده استفاده شود. بیایید این بار پیش بینی کردن هوا را به عنوان مثال در نظر بگیریم. داده های کشتی ها، هواپیما ها، رادار ها، ماهواره ها را می توان جمع آوری و برای ساخت مدل تجزیه و تحلیل از آن ها استفاده کرد. این مدل ها نه تنها آب و هوا را پیش بینی می کنند بلکه به پیش بینی وقوع هر گونه بلایای طبیعی نیز کمک می کنند. این به شما کمک می کند که از قبل اقدامات مناسبی را تعبیه کنید و جان بسیاری از افراد را از پیش نجات دهید.

بیایید نگاهی به نکات زیر بیندازیم تا تمام زمینه هایی را که Data Science در حال ساخت آن است را ببینیم.

1. مسافرت
   • قیمت گذاری هوشمند
   • پرواز امروز را پیش بینی کنید
2. بازاریابی
   • گران فروشی
   • فروش متقابل
   • پیش بینی ارزش طول عمر مشتری
   • ریزش
3. مراقبت های بهداشتی
   • پیش بینی بیماری
   • اثربخشی دارو
4. شبکه های اجتماعی
   • تجزیه و تحلیل احساسات
   • بازاریابی دیجیتال
5. فروش
   • پیشنهاد تخفیف
   • پیش بینی تقاضا
6. اتوماسیون
   • اتومبیل های خودران
   • هواپیمای بدون خلبان، پهباد
7. اعتبار و بیمه
   • ادعای پیش بینی
   • کشف تقلب و ریسک

تعاریف مختلفی در مورد Data Scientist ها (دانشمند داده) وجود دارد. به عبارتی دیگر، Data Scientist کسی است که هنر Data Science را تمرین می کند. اصطلاح “Data Scientist” پس از در نظر گرفتن این واقعیت که دانشمند داده، اطلاعات زیادی را از زمینه ها و برنامه های علمی اعم از آمار یا ریاضیات به دست می آورد، ابداع شده است.

Data Scientist ها کسانی هستند که کاربرد علم داده را نشان می دهند و با تخصص قوی خود در برخی از رشته های علمی، مشکلات پیچیده مرتبط به داده را حل می کنند. آن ها با چندین عنصر مرتبط با ریاضیات، آمار، علوم کامپیوتر و غیره کار می کنند (اگر چه ممکن است در همه این زمینه ها متخصص نباشند). آن ها از آخرین فناوری ها در یافتن راه حل و نتیجه گیری برای رشد و توسعه سازمان بسیار آگاه هستند و از آن ها استفاده می کنند. Data Scientist داده ها را به شکل بسیار مفید تری در مقایسه با داده های خام موجود از فرم های ساختار یافته و غیر ساختاری ارائه می دهند.

اکنون اجازه بدهید که درباره BI بحث کنیم. من مطمئن هستم که تا به حال اصطلاح Business Intelligence یا همان هوش تجاری به گوش شما خورده است. غالبا Data Science با BI اشتباه گرفته می شود. من تضاد های مختصر و واضحی را بین این دو بیان خواهم کرد که به شما در درک بهتر هر دو کمک می کند. موارد پایین را با دقت نگاه کنید:

• هوش تجاری (BI) اساساً داده های قبلی موجود را تجزیه و تحلیل می کند تا بینش حال و آینده برای توصیف روند کسب و کار پیدا کند. در اینجا BI به شما این امکان را می دهد تا داده ها را از منابع خارجی و داخلی تهیه کنید، آن ها را آماده کنید، query ها را روی آن ها پیاده سازی کنید و داشبورد ایجاد کنید تا به سوالاتی مانند تجزیه و تحلیل درآمد سه ماهه یا مشکلات تجاری پاسخ دهید. BI می تواند تأثیر وقایع خاص را در آینده نزدیک برای شما ارزیابی کند.
• Data Science یک رویکرد آینده نگرانه تر است؛ روشی اکتشافی با تمرکز بر تجزیه و تحلیل داده های گذشته یا فعلی و پیش بینی نتایج آینده با هدف تصمیم گیری آگاهانه است. این سوالات راجع به وقایعی که با “چه” و “چگونه” شروع می شوند، پاسخ می دهد.

بیایید نگاهی به برخی از ویژگی های متضاد آن ها بیندازیم.

همه این توضیحات تا به حال راجب خود Data Science بود، حالا بیایید چرخه زندگی Data Science را با هم بهتر درک کنیم.

یک اشتباه متداول در پروژه های Data Science، عجله در جمع آوری و تجزیه و تحلیل داده ها، بدون درک نیاز ها و یا حتی طرح صحیح برای مشکل تجاری مورد نظر است. بنابراین، برای شما بسیار مهم است که برای اطمینان از عملکرد پیوسته و روان پیش رفتن پروژه، تمام مراحل را در طول چرخه عمرData Science دنبال کنید.

فاز ۱ – کشف: قبل از شروع پروژه، درک مشخصات مختلف، الزامات، اولویت ها و بودجه مورد نیاز مهم است. شما باید توانایی پرسیدن سوالات صحیح را داشته باشید. در اینجا، شما ارزیابی می کنید که آیا منابع مورد نیاز از نظر افراد، فناوری، زمان و داده ها برای پشتیبانی از پروژه مد نظر خود را دارید یا خیر. در این مرحله، شما همچنین باید مسئله مشاغل را تنظیم کرده و فرضیه های اولیه (IH) را برای آزمایش فرموله کنید.

فاز ۲ – آماده سازی داده ها: در این مرحله شما به یک Sand Box تحلیلی نیاز دارید که در آن بتوانید تجزیه و تحلیل را برای کل مدت پروژه انجام دهید. قبل از مدل سازی، باید داده ها را کشف، پیش پردازش و شرایط آن ها را تنظیم کنید. بعلاوه، شما ETLT (استخراج، تبدیل، بارگذاری و تبدیل) را برای ورود داده ها به Sand Box انجام خواهید داد. بیایید نگاهی به جریان تجزیه و تحلیل آماری در زیر بیندازیم.

برای خالص تر کردن، تبدیل و مجسم سازی داده ها می توانید از R استفاده کنید. این به شما کمک می کند تا با دید بهتر و بزرگ تر مسئله را بررسی کنید و بین متغیر ها رابطه برقرار کنید. پس از پاک کردن و آماده سازی داده ها، وقت آن رسیده است که تجزیه و تحلیل اکتشافی را روی آن انجام دهید. بیایید ببینیم که چگونه می توانید به آن دست پیدا کنید.

فاز ۳ – برنامه ریزی مدل: در اینجا، روش ها و تکنیک های ترسیم روابط بین متغیر ها را تعیین خواهید کرد. این روابط اساس الگوریتم هایی را ایجاد می کند که در مرحله بعدی پیاده سازی می کنید. شما از تجزیه و تحلیل داده های اکتشافی (EDA) با استفاده از فرمول های آماری مختلف و ابزار تجسم استفاده خواهید کرد.

بیایید نگاهی به ابزار های مختلف برنامه ریزی مدل بیندازیم.

1. R دارای مجموعه کاملی از قابلیت های مدل سازی است و فضای خوبی برای ساخت مدل های تفسیری فراهم می کند.
2. سرویس های SQL Analysis می توانند با استفاده از توابع داده کاوی متداول و مدل های اساسی پیش بینی، تجزیه و تحلیل database را انجام دهند.
3. SAS / ACCESS می تواند برای دسترسی به داده ها از Hadoop استفاده کند و برای ایجاد نمودار های جریان، مدل تکرار پذیر و قابل استفاده مجدد بسازد.

اگر چه ابزار های زیادی در بازار وجود دارد اما R پر کاربرد ترین ابزار است.

اکنون که اطلاعاتی درباره ماهیت داده های خود پیدا کرده اید و تصمیم گرفته اید که چه الگوریتم هایی مورد استفاده قرار گیرند، در مرحله بعدی، شما الگوریتم را اعمال کرده و یک مدل ایجاد می کنید.

فاز ۴ — ساخت مدل: در این مرحله، مجموعه داده هایی را برای اهداف آموزشی و آزمایشی ایجاد خواهید کرد. در اینجا باید بررسی کنید که آیا ابزار های موجود شما برای اجرای مدل ها کافی می باشند یا به محیط مستحکم تری نیاز دارند (مانند پردازش سریع و موازی). برای ساخت مدل، روش های مختلف یادگیری مانند طبقه بندی، تداعی و خوشه بندی را تجزیه و تحلیل خواهید کرد.

شما می توانید از طریق ابزار های زیر به ساخت مدل بپردازید.

فاز ۵ — عملیاتی سازی: در این مرحله، شما گزارش های نهایی، جلسات توجیهی، کد و اسناد فنی را ارائه می دهید. علاوه بر این، گاهی اوقات یک پروژه آزمایشی نیز در یک محیط تولید در real-time اجرا می کنید. با این کار قبل از استقرار کامل، تصویری واضح از عملکرد و سایر محدودیت های مربوطه در مقیاس کوچک به شما ارائه می شود.

فاز ۶ – نتایج را اعلام کنید: اکنون ارزیابی اینکه آیا توانسته اید به هدفی که در مرحله اول برنامه ریزی کرده اید، برسید مهم است. بنابراین، در آخرین مرحله، شما تمام یافته های کلیدی را شناسایی می کنید، با سهامدارانتان ارتباط بر قرار می کنید و بر اساس معیار های تدوین شده در فاز ۱، موفقیت یا شکست نتایج پروژه را بررسی و تعیین می کنید.

مطالعه موردی: پیشگیری از دیابت

” اگر بتوانیم وقوع دیابت را پیش بینی کنیم و قبل از آن اقدامات مناسبی برای جلوگیری از آن انجام دهیم، چه می کنیم؟ “

در این مورد، ما وقوع دیابت را با استفاده از کل چرخه زندگی که قبلاً بحث کردیم پیش بینی خواهیم کرد. اجازه دهید مرحله به مرحله بررسی کنیم.

مرحله ۱:

• در ابتدا، ما داده ها را بر اساس سابقه پزشکی بیمار همانطور که در فاز ۱ بحث شد، جمع آوری خواهیم کرد. می توانید به نمونه داده های زیر مراجعه کنید.

• همانطور که می بینید، ما ویژگی های مختلفی داریم که در زیر ذکر شده است.

ویژگی ها:

npreg  –  تعداد دفعات بارداری

glucose  –  غلظت گلوکز پلاسما

bp  –  فشار خون

skin  –  ضخامت پوست بند سه سر

bmi  –  شاخص توده بدن

ped  –  عملکرد شجره نامه دیابت

age  –  سن

income  –  درآمد

مرحله ۲:

• اکنون، پس از دستیابی به داده ها، باید دیتا را برای تجزیه و تحلیل مرتب و آماده کنیم.
• این داده ها دارای تناقضات زیادی مانند مقادیر از دست رفته، ستون های خالی، مقادیر ناگهانی و قالب داده نادرست است که باید مرتب شوند.
• در اینجا، ما داده ها را در یک جدول واحد تحت ویژگی های مختلف سازماندهی کرده ایم که ساختار سازی آن ها بهتر به نظر می رسد.
• بیایید نگاهی به نمونه داده های زیر بیندازیم.

این داده ها ناسازگاری زیادی دارند.

1. در ستون npreg، “one” با حروف نوشته شده است، در حالی که باید به شکل عددی مانند ۱ باشد.
2. در ستون bp یکی از مقادیر ۶۶۰۰ است که حداقل (برای انسان) غیر ممکن است; زیرا bp نمی تواند به چنین مقدار عظیمی برسد.
3. همان طور که مشاهده می کنید ستون درآمد خالی است و همچنین در پیش بینی دیابت معنی ندارد. بنابراین وجود آن در اینجا زائد است و باید از جدول حذف شود.

بنابراین، ما با حذف اشتباهات، پر کردن مقادیر صفر و درست کردن نوع داده، این داده ها را مرتب و پیش پردازش می کنیم. اگر به یاد داشته باشید، این مرحله دوم ما است که پیش از پردازش داده انجام می شود.

در آخر، داده های سالم را همانطور که در زیر نشان داده شده است، بدست می آوریم که می توانند برای تجزیه و تحلیل استفاده شوند.

مرحله ۳:

حال اجازه دهید مقداری تجزیه و تحلیل انجام دهیم، همانطور که قبلاً در فاز ۳ بحث شد.

• ابتدا داده ها را بارگذاری می کنیم و توابع آماری مختلفی را روی آن اعمال می کنیم. به عنوان مثال، زبان R تابعی مانند describe دارد که تعداد مقادیر از دست رفته و مقادیر منحصر به فرد را به ما ارائه می دهد. همچنین می توانیم از تابع summary استفاده کنیم که اطلاعات آماری مانند مقادیر میانگین، دامنه، حداقل و حداکثر را به ما می دهد.
• سپس، ما از تکنیک های بصری مانند هیستوگرام (Histograms)، نمودار های خطی (line graphs)، نمودار های جعبه ای (box plots) استفاده می کنیم تا ایده مناسبی از توزیع داده ها بدست آوریم.

مرحله ۴:

اکنون، بر اساس بینش های حاصل از مرحله قبلی، بهترین گزینه برای این نوع مشکلات درخت تصمیم (decision tree ) است:

• از آن جا که، ما در حال حاضر ویژگی های اصلی برای تجزیه و تحلیل مانند npreg ، bmi و … را در اختیار داریم، بنابراین ما از روش یادگیری نظارت شده برای ساختن یک مدل در اینجا استفاده خواهیم کرد.
• بعلاوه، ما به ویژه از درخت تصمیم استفاده کرده ایم زیرا همه ویژگی ها را یک جا مورد توجه قرار می دهد، مانند خصوصیاتی که رابطه خطی و هم چنین رابطه غیر خطی دارند. در این مورد، ما یک رابطه خطی بین npreg و سن داریم، در حالی که رابطه غیر خطی بین npreg و ped هم وجود دارد.
• مدل های درخت تصمیم نیز بسیار قوی هستند زیرا می توانیم از ترکیبات مختلف ویژگی ها برای ساختن درخت تصمیم های مختلف استفاده کنیم و در نهایت یکی را که حداکثر کارایی را دارا می باشد، پیاده سازی کنیم.

بیایید نگاهی به درخت تصمیم خود بیندازیم.

در این جا، مهم ترین پارامتر سطح گلوکز است، بنابراین ریشه ما یک گره است. اکنون، گره فعلی و مقدار آن پارامتر مهم بعدی را تعیین می کند. این کار ادامه می یابد تا زمانی که از نظر مثبت یا منفی نتیجه بگیریم. Pos به این معنی است که تمایل به دیابت مثبت است و منفی به معنای منفی بودن دیابت می باشد.

مرحله ۵:

در این مرحله، ما یک پروژه آزمایشی کوچک را برای بررسی مناسب بودن نتایج خود اجرا خواهیم کرد. همچنین در صورت وجود به دنبال محدودیت های عملکردی خواهیم بود. اگر نتایج دقیق نباشند، باید مدل را دوباره طراحی و بازسازی کنیم.

مرحله ۶:

هنگامی که پروژه را با موفقیت اجرا کردیم، خروجی را برای گسترش کامل به اشتراک خواهیم گذاشت.

دانشمند دیتا بودن، خیلی سخت تر از چیزی که به نظر می رسد، است. بنابراین، بیایید ببینیم برای دانشمند بودن چه چیزی نیاز داریم. یک دانشمند داده به مهارت هایی که در زیر نشان داده شده است نیاز دارد.

همان طور که در تصویر بالا مشاهده می کنید، شما باید مهارت های سخت و مختلفی را کسب کنید. برای تجزیه و تحلیل و تجسم داده ها، باید در آمار و ریاضیات مهارت کافی داشته باشید. نیازی به گفتن نیست که Machine Learning قلب علم داده را تشکیل می دهد و از شما می خواهد در آن مهارت داشته باشید. همچنین، شما باید درک درستی از دامنه ای که در آن کار می کنید داشته باشید تا مشکلات تجاری را به وضوح درک کنید. وظیفه شما به اینجا ختم نمی شود. شما باید بتوانید الگوریتم های مختلفی را که نیاز به مهارت های کد گذاری خوبی دارند، پیاده سازی کنید. سر انجام، هنگامی که تصمیمات اساسی خاصی را اتخاذ کردید، مهم است که آن ها را به سهام دارانتان تحویل دهید. پس ارتباطات اجتماعی نیز جزو اساسی ترین نیاز ها می باشد.