بعد از گذشت سالیان سال، اکنون مشاغل در حال استفاده از داده کاوی و یادگیری ماشین هستند تا با استفاده از آنالیز آنلاین داده از فرآیند فروش خود تا تفسیر منابع مالی برای اهداف سرمایه گذاری، همه مسائل را بهبود بخشند. در نتیجه، وجود دانشمندان داده (data scientists) برای سازمان های سراسر جهان حیاتی شده اند، زیرا شرکت ها به دنبال دستیابی به اهداف بزرگ تر با علم داده (data science) بیش از هر زمان دیگری هستند.

داده کاوی در واقع فرآیند تجزیه و تحلیل حجم عظیمی از داده ها برای اکتشافات هوش تجاری است که به شرکت ها در حل مشکلات، کاهش خطرات و بدست آوردن فرصت های جدید کمک می کند.

این شاخه از علم داده نام خود را از تشبیه “جستجوی اطلاعات پایگاه داده (Data Base) ” به “استخراج سنگ معدن از کوه” گرفته است. برای یافتن ارزش پنهان شده هر دو فرآیند، نیاز به غربال کردن مقادیر عظیمی از متریال ( داده و سنگ ) می باشد.

داده کاوی (Data Mining) می تواند به همه سوالات تجاری ممکن پاسخ دهد که راه حل های سنتی برای حل و فصل دستی آن ها بسیار وقت گیر می باشد. با استفاده از طیف وسیعی از تکنیک های آماری برای تجزیه و تحلیل داده ها به روش های مختلف، کاربران می توانند الگو ها، روند ها و روابطی را که ممکن است از دست بدهند، شناسایی کنند. آن ها می توانند با استفاده از این یافته ها آن چه را که احتمالاً در آینده اتفاق می افتد، پیش بینی کرده و برای تاثیر گذاری بر پیامد های کسب ‌و کار اقدام کنند.

داده کاوی در بسیاری از زمینه های تجاری و تحقیقاتی از جمله فروش، بازاریابی، تولید محصولات، مراقبت های بهداشتی و حتی آموزش استفاده می شود. با استفاده صحیح از آن، داده کاوی می تواند مزیت عمیقی نسبت به رقبا به شما بدهد و این امکان را برای شما فراهم می کند تا اطلاعات بیشتری در مورد مشتری خود کسب کنید، استراتژی های بازاریابی موثر تری بچینید، افزایش درآمد پیدا کنید و هزینه های خود را کاهش دهید.

برای بدست آوردن بهترین نتیجه از داده کاوی (Data Mining)، ما به مجموعه ای از ابزار ها و تکنیک ها نیاز داریم. برخی از این توابع مورد استفاده عبارتند از:

• پاکسازی و آماده سازی داده ها (Data Cleansing و Preparation): مرحله ای که داده ها به مناسب ترین فرم خود برای پردازش، تجزیه و تحلیل بیشتر تبدیل می کند، که شامل شناسایی و حذف خطا ها و داده های از دست رفته می باشد.
• هوش مصنوعی (AI): این سیستم ها فعالیت های تحلیلی مرتبط با هوش انسانی مانند برنامه ریزی، یادگیری، استدلال و حل مسئله را انجام می دهند.
• یادگیری قانون وابستگی (Association Rule Learning): این ابزار ها که به عنوان تجزیه و تحلیل سبد بازار نیز شناخته می شوند، روابط بین متغیر های یک مجموعه داده را جستجو می کنند؛ مانند تعیین اینکه کدام محصولات معمولاً با هم خریداری می شوند.
• خوشه بندی (Clustering): فرآیند تقسیم یک مجموعه داده به زیر مجموعه های با معنا، خوشه نامیده می شوند که کاربرد آنها، برای کمک به کاربران در درک گروه بندی یا شناخت ساختار طبیعی داده ها است.
• طبقه بندی (Classification): این روش با هدف پیش بینی دقیق طبقه هدف برای هر یک از داده ها، موارد موجود در یک مجموعه داده را به دسته ها یا طبقه های هدف اختصاص می دهد.
• تجزیه و تحلیل داده ها (Data Analytics): روند ارزیابی اطلاعات دیجیتالی به عنوان هوش تجاری به شکل قابل استفاده را Data Analytics گویند.
• انبار کردن داده ها (Data Warehousing): مجموعه بزرگی از داده های تجاری برای کمک به تصمیم گیری در سازمان استفاده می شود. این مولفه اساسی، بیشتر تلاش های داده کاوی در مقیاس بزرگ است.
• یادگیری ماشین (Machine Learning): یک روش برنامه نویسی کامپیوتری است که با استفاده از احتمالات آماری به کامپیوتر توانایی “یادگیری” می دهد، بدون اینکه به طور صریح برنامه ریزی شده باشد.
• رگرسیون (Regression): تکنیکی که برای پیش بینی طیف وسیعی از مقادیر عددی، مانند فروش، دما یا قیمت سهام، بر اساس یک مجموعه داده خاص استفاده می شود.

داده ها در تعداد زیادی از قالب ها با سرعت و حجم بی سابقه ای به کسب و کار ها سرازیر می شوند. تجارت داده محور، دیگر گزینه ای مناسب نیست. موفقیت کسب و کار به این بستگی دارد که شما با چه سرعتی می توانید بینش کلان داده هایی را کشف کرده و آن ها را در تصمیمات و فرآیند های کسب و کار بگنجانید و اقدامات بهتری را برای شرکت خود انجام دهید. با این وجود، با داشتن تعداد زیادی داده برای مدیریت، این کار غیر قابل حل است.

داده کاوی به کسب و کار ها این قدرت را می دهد تا با درک گذشته و حال و پیش بینی های دقیق در مورد اتفاقات بعدی، آینده را بهینه کنند.

به عنوان مثال، داده کاوی می تواند به شما بگوید که بر اساس مشخصاتمشتری های سابق خود، چه چشم اندازهایی احتمالاً یک مشتری ساده را به یک مشتری سودآور تبدیل می کند و احتمالاً کدام یک از پیشنهادات خاص شما، بیشتر پاسخ می دهند. با استفاده از این دانش، شما می توانید با ارائه پیشنهاد خود فقط به چشم انداز هایی که احتمالاً پاسخ می دهند و تبدیل آن ها به مشتریانی ارزشمند، نرخ بازگشت سرمایه (ROI) خود را افزایش دهید.

می توانید از داده کاوی برای حل تقریباً هر مشکلی در تجارت که شامل داده باشد، استفاده کنید، از جمله:

•       افزایش درآمد
•       درک بخش ها و تنظیمات مشتری
•       به دست آوردن مشتریان جدید
•       بهبود فروش مکمل(cross selling) و بیش فروشی(up selling)
•       حفظ مشتری و افزایش وفاداری
•       افزایش ROI از طریق بازاریابی
•       کشف تقلب مالی
•       شناسایی خطرات اعتباری مربوط به حسابداری
•       ارزیابی عملکرد اجرایی

از طریق استفاده از تکنیک های داده کاوی، تصمیمات می توانند مبتنی بر هوش تجاری، به جای واکنش های غریزی، واقعی باشند که این نتایج سازگار باعث می شود که شما همیشه از رقیبان خود جلوتر باشید.

از آن جایی که فناوری های پردازش داده در مقیاس بزرگ مانند Machine Learning و هوش مصنوعی به راحتی در دسترس قرار می گیرند، شرکت ها اکنون قادر به جستجوی ترابایت ها دیتا در عرض چند دقیقه یا چند ساعت به جای روزها یا هفته ها هستند و به آن ها کمک می کند تا نوآوری و رشد سریع تری داشته باشند.

یک پروژه ساده داده کاوی با پرسیدن سوالات صحیح مرتبط به کسب و کار، جمع آوری داده های مناسب برای پاسخ به آن ها و آماده سازی داده ها برای تجزیه و تحلیل آغاز می شود. موفقیت در مراحل پیش رو به آن چه که در مراحل قبلی اتفاق می افتد، بستگی دارد. اگر کیفیت داده ها پایین باشد، منجر به نتایج ضعیفی خواهد شد، به همین دلیل داده کاوان (Data Miner)، ابتدا باید از کیفیت داده هایی که برای تجزیه و تحلیل استفاده می شود، اطمینان حاصل کنند.

متخصصان در زمینه داده کاوی معمولاً با پیروی از یک فرآیند ساختاری و قابل تکرار که شامل این شش مرحله است، به نتایج قابل اطمینانی دست می یابند:

1.   درک کسب و کار (Business Understanding): توسعه درک کاملی از پارامتر های پروژه مد نظر، از جمله اوضاع فعلی کسب و کار، هدف اصلی و معیار های موفقیت در این پروژه، می باشد.
2.   درک داده ها (Data Understanding): انتخاب و تعیین داده هایی که برای حل مسئله مد نظر، مورد نیاز خواهند بود و سپس آن ها را از تمامی منابع در دسترس، جمع آوری نمود.
3.   آماده سازی داده ها (Data Preparation): آماده سازی داده ها به این معنا می باشد که شما قالبی مناسب برای پاسخ به همان سوالات مرتبط به کسب و کار پیدا کنید و برای رفع مشکلات کیفی داده مانند داده های مفقود شده یا تکراری اقدام کنید.
4.   مدل سازی (Modeling): استفاده از الگوریتم ها برای شناسایی الگو های درون داده ای را، مدل سازی گویند.
5.   ارزیابی (Evaluation): تعیین این که آیا نتایج ارائه شده توسط یک مدل معین قابل قبول بوده است؟ و این که چقدر به دستیابی هدف بیزینسی ما کمک می کند؟ غالباً یک مرحله تکراری برای یافتن بهترین الگوریتم جهت دستیابی به بهترین نتیجه وجود دارد.
6.   استقرار (Deployment): استقرار به معنای در دسترس قرار دادن نتایج پروژه مد نظر در اختیار تصمیم گیرندگان است.

در طول این فرآیند، همکاری نزدیک بین متخصصان کسب و کار و داده کاوان برای درک اهمیت نتایج داده کاوی (Data Mining) برای سوالات مبتنی بر کسب و کار مد نظر، ضروری است.

سازمان های مختلف صنعتی در حال دستیابی به نتایج تحول بر انگیز به خاطر داده کاوی هستند:

• Groupon (بازار تجارت جهانی در امریکا) فعالیت های بازاریابی خود را طبق برنامه ای مشخص می چیند: یکی از چالش های اصلی Groupon پردازش به حجم گسترده ای از داده هایشان است که برای ارائه خدمات خرید خود استفاده می کند. هر روزه، این شرکت بیش از یک ترابایت داده خام را در Real-time (نرم افزار محاسباتی) پردازش می کند و این اطلاعات را در سیستم های مختلف پایگاه داده های خود ذخیره می سازد. داده کاوی (Data Mining) به Groupon این امکان را می دهد تا فعالیت های بازاریابی را با ترجیحات مشتری بیشتر هماهنگ کند، ۱ ترابایت داده مشتری را در Real-time تجزیه و تحلیل کند و به شرکت خود این امکان را بدهد تا ترند ها را هنگام شروع شدن، بتواند دنبال کند و اقدامات لازمه را پیاده سازی کند.
• Air France KLM به نیاز ها و علایق مسافران خود توجه می کند: این شرکت هواپیمایی با تلفیق داده های جستجو های سفر مشتریان، رزرو هایشان و دقت به عملیات پرواز با تعاملات وب مسافران خود، چک کردن رسانه های اجتماعی، بررسی مرکز تماس و فرودگاه و … از روش های داده کاوی برای ایجاد دید ۳۶۰ درجه مشتری استفاده می کند. آن ها از این بینش عمیق مشتری برای ایجاد تجربه سفری شخصی سازی شده برای مسافران خود استفاده می کنند.
• Bayer به کشاورزان در تولید مواد غذایی پایدار کمک می کند: علف های هرز که به محصولات آسیب می رسانند، از زمان شروع کار برای کشاورزان مشکل ایجاد می کنند. یک راه حل مناسب استفاده از علف کش است که به طور موثر گونه های دقیق علف های هرز را در مزرعه شناسایی و سپس از بین می برد، در حالی که عوارض جانبی نا مطلوبی را نیز تا حد ممکن دارد. اما برای این کار ابتدا، کشاورزان باید علف های هرز را در مزارع خود به طور دقیق شناسایی کنند. با استفاده از Big Data درReal-time ، تیم Bayer Digital Farming توانست WEEDSCOUT را توسعه دهد؛ یک برنامه جدید برای کشاورزان تا بتوانند رایگان بارگیری کنند. این برنامه با استفاده از machine learning و هوش مصنوعی، عکس علف های هرز را در پایگاه داده Bayer با عکس های علف های هرز کشاورزان ارسال می کند. این به تولید کننده این فرصت را می دهد تا دقیقاً تأثیر اقدامات خود مانند انتخاب نوع بذر، کاربرد وسایل محافظت از محصول را متوجه شده و یا زمان برداشت را بفهمند.
• Domino’s به مشتریان خود کمک می کند تا یک پیتزای عالی بسازند: بزرگ ترین شرکت پیتزایی در جهان ۸۵۰۰۰ منبع داده ساختار یافته و غیر ساختار یافته از جمله سیستم های فروش و ۲۶ مرکز زنجیره تامین دارد و از طریق همه کانال های خود از جمله پیام های متنی، رسانه های اجتماعی و آمازون اکو، دیتا جمع آوری می کند. این سطح از بینش، ضمن اینکه تجربه خرید مستقیم یعنی حضوری را بهبود می بخشد، باعث پیشرفت روند عملکرد تجاری نیز شده است.

این ها تنها چند نمونه از چگونگی کمک قابلیت های داده کاوی (Data Mining) به سازمان های داده محور در خصوص افزایش کارایی، ساده سازی عملیات، کاهش هزینه ها و بهبود سود آوریشان می باشد.

آینده به شکل کلی برای داده کاوی و علم داده روشن است; زیرا مقدار داده تنها با گذر زمان فقط افزایش خواهد یافت. تا امسال یعنی سال ۲۰۲۰، جهان داده دیجیتال انباشته شده ما از ۴٫۴ zettabyte به ۴۴ zettabyte رسیده است. همچنین در هر ثانیه ۱٫۷ مگابایت اطلاعات جدید برای هر انسانی روی کره زمین ایجاد شده است.

دقیقاً مانند تکنیک های استخراج و پیشرفت به دلیل پیشبرد تکنولوژی، فناوری های استخراج بینش از داده ها نیز با همین فناوری ها پیشرفت کرده اند. روزی وجود داشت که فقط سازمان هایی مانند ناسا می توانستند از ابر کامپیوتر های خود برای تجزیه و تحلیل داده ها استفاده کنند و هزینه ذخیره سازی و محاسبه داده ها بسیار زیاد بود. اما اکنون، شرکت ها انواع کار های جالب را با ML، AI و Deep Learning با دریایی از داده مبتنی بر ابر انجام می دهند.

به عنوان مثال، Internet of Things و Wearable Technology افراد و دستگاه ها را به اصطلاح به ماشین های تولید داده تبدیل کرده است که می تواند بینش نامحدودی راجع به افراد و سازمان ها بدست آورد و تا حد الممکن شرکت ها بتوانند داده ها را به اندازه کافی به صورت شکلی سریع جمع آوری، ذخیره و تجزیه و تحلیل کنند.

تا امسال حدود ۲۰ میلیارد دستگاه متصل IoT در حال حاضر وجود دارند. داده های تولید شده توسط این فعالیت در فضای ابری در دسترس خواهد بود و نیاز فوری به ابزار های تحلیلی انعطاف پذیر و مقیاس پذیر را ایجاد می کند که می توانند مقدار زیادی از اطلاعات را از مجموعه داده های متفاوت مدیریت کنند.

راه حل های تجزیه و تحلیل مبتنی بر ابر دسترسی به داده های عظیم و منابع محاسباتی را برای سازمان ها، عملی و مقرون به صرفه تر می کند. رایانش ابری ( Cloud Computing ) به شرکت ها کمک می کند تا به سرعت داده های حاصل از فروش، بازاریابی، وب، سیستم های تولید، موجودی و سایر منابع را تدوین و جمع آوری کنند.

ابزار های داده کاوی Open Source نیز سطح جدیدی از قدرت و چابکی را در اختیار کاربران قرار می دهند و از طریق روش هایی که بسیاری از راه حل های سنتی نمی توانند تقاضای تحلیلی را برآورده کنند و جوامع گسترده تحلیلگر و توسعه دهنده را ارائه می دهند که در آن کاربران می توانند پروژه ها را به اشتراک بگذارند و همکاری کنند. علاوه بر این، فناوری های پیشرفته، مانند ML و AI در حال حاضر تقریباً در مورد هر سازمانی با افراد، داده ها و ابزار های مناسب قابل دسترسی است.

شکی نیست که داده کاوی (Data Mining) قدرت تحول در شرکت ها را دارد. با این حال، اجرای یک راه حل که نیاز های همه سهام داران را برآورده کند، می تواند به طور مکرر انتخاب پلتفرم را متوقف کند. طیف گسترده ای از گزینه های در دسترس تحلیلگران، از جمله زبان های Open-Source مانند R و Python و با ابزار های آشنا مانند Excel، همراه با تنوع و پیچیدگی ابزار ها و الگوریتم ها، می تواند روند کار را پیچیده تر کند.

مشاغلی که بیشترین ارزش را از داده کاوی کسب می کنند، معمولاً بستری را انتخاب می کنند که:

• شامل بهترین روش ها برای صنعت یا نوع پروژه خود باشد. به عنوان مثال، سازمان های بهداشتی و درمانی نیاز های متفاوتی نسبت به شرکت های تجارتی الکترونیکی دارند.
• کل چرخه عمر داده کاوی، از کاوش داده ها تا تولید آن ها را مدیریت می کند.
• با برنامه های سازمانی، از جمله سیستم های BI ، CRM ، ERP، نرم افزار های مالی و سایر نرم افزار های سازمانی که برای بازده حداکثر سرمایه باید با آن ها همکاری کند، همسو است.
• با زبان های برجسته Open-Source ادغام می شود، ابزار های انعطاف پذیری و همکاری برای ایجاد برنامه های ابتکاری را به توسعه دهندگان و دانشمندان داده ارائه می دهد.
• نیاز های IT، دانشمندان داده و تحلیلگران را تأمین می کند، در عین حال نیاز های گزارشگیری و تفکرات کاربران تجاری را نیز تأمین می کند.