سرعت رشد فناوریهای مبتنی بر داده از جمله پردازش کلاندادهها (Big Data) و تحلیل داده، بسیار بیش از پیشبینیهای کارشناسان و مؤسسههای فناوری در سالهای گذشته بوده است. آنچه در گذشته تصور میشد دربارهٔ دادهها میدانیم، تنها نوک کوه یخ تحولات عظیمی بود که فناوری دادهها به همراه داشت.
امروز گسترهٔ امکانات و فرصتهایی که فناوریهای دادهمحور به ارمغان آوردهاند، بسیار بیش از تصور پیشین است. همچنین شتاب رشد این فناوریها هم روزبهروز بیشتر میشود. مجموعه عظیمی از حسگرهای بیسیم، بسترهای دیجیتال، واقعیت افزوده و چند میلیارد گوشی هوشمند، بهصورت پیوسته در حال تولید دادههای جدید هستند و برآورد میشود که هر سه سال، حجم کلی دادههای جمعآوری شده در جهان دوبرابر خواهد شد.
امکان ذخیرهسازی دادهها نیز رو به گسترش است و این در حالی است که هزینهٔ نگهداری این دادهها همواره رو به کاهش است. از سوی دیگر در حال حاضر، دانشمندان و محققان به توان پردازشی بیسابقهای دسترسی دارند که امکان بهرهبرداری از الگوریتمهای پیچیدهتر برای پردازش داده را برایشان ممکن ساخته است.
رشد سریع این فناوریها، صنایع مختلف را درنوردیده و چالشهای جدیدی برای سازمانها به وجود آورده است. شرکتهای زیادی بهسرعت با این موج همراه شدهاند و از آن برای بهبود عملکرد و گسترش فعالیتهایشان و حتی ایجاد مدلهای جدید کسبوکار بهره بردهاند و شرکتهایی هم با تعلل برای پیوستن به این جریان، از رقابت جاماندهاند.
استفاده از فناوری دادهها، موفقیت سرشاری برای آنهایی که به سویش حرکت کردهاند به همراه داشته است. برای مثال شرکت UPS از این امکانات برای پیداکردن مسیرهای بهینه برای تحویل بستههای پستی استفاده کرده است. UPS دادههای مسیرها را بهصورت پویا تحلیل میکند تا در هر لحظه، بهترین مسیر را برای رسیدن به مقصد به رانندگانش نشان دهد و با این کار توانسته تنها طی یک سال، مسافت سفر جادهای خودروهایش را بیش از ۱۵۰ میلیون کیلومتر کاهش دهد که به معنای صرفهجویی ۳۰۰ میلیون دلاری بوده است. یا گوگل، این غول جستجوی اینترنت، همواره در حال آزمایش روشهای جدید برای یافتن نتایج مناسب هر جستجو است. روشهایی که حتی اگر چند میلیثانیه زودتر به پاسخ مناسب برسند، میتوانند درآمد گوگل را میلیونها دلار افزایش دهند. شرکت تی – موبایل (T-Mobile)، ارائهدهندهٔ خدمات تلفن همراه، با تلفیق اطلاعات جمع آوری شده از شبکه های اجتماعی با داده های مربوط به تراکنش های مشتریان در سیستم های ارتباط با مشتری و صدور قبوض توانسته طی تنها چند ماه، میزان خروج مشتریان از شبکهاش را به نصف کاهش دهد. در مثالی دیگر شرکت نتفلیکس (Netflix) که بزرگترین ارائهکنندهٔ خدمات چندرسانهای برخط (media streaming) در جهان است، با بهینهسازی موتور پیشنهاد محتوایش، یک میلیارد دلار به درآمد سالانهٔ خود اضافه کرده است.
اینها نمونههایی از شرکتهایی بودند که از فناوریهای نوین داده برای بهبود عملکرد خود استفاده کردهاند، اما شرکتهای بسیاری هم هستند که در آغاز این مسیر متوقف شدهاند. بعضی از آنها سرمایهگذاریهایی روی فناوریهای دادهها و فناوریهای تحلیل انجام دادهاند و حالا در فکر این هستند که چطور باید از نتایج دادههای جمعآوری شده و تحلیل آنها، برای کسب درآمد بیشتر استفاده کرد. البته دراینبین شرکتهایی هم هستند که حتی گامهای ابتدایی این مسیر را شروع نکرده اند.
شرکتهای حوزهٔ فناوری و خدمات دیجیتال، اساس کارشان بر دادهها استوار است. به همین دلیل این شرکتها سریعتر از بقیه میتوانند خود را با فناوریها و روندهای جدید تطبیق دهند. در نهایت ایدهپردازی و طراحی یک کسبوکار از پایه، با درنظرداشتن امکانات فناوری داده برای آن، کاری بهمراتب آسانتر از طراحی سیستمهای جدید فناوری اطلاعات برای شرکتهایی است دارای سیستمهای سنتی هستند.. با این وضعیت طبیعی است که استعدادهای برتر در حوزه داده ترجیح میدهند در مجموعههایی مشغول به کار شوند که با آنها زبان مشترک داشته باشند.
در چنین شرایطی، صاحبان کسبوکار باید نسبت به فرصتها و تهدیدهای فناوری داده هوشیار باشند. در بخشهایی نظیر خدمات حملونقل، اقامتی و خردهفروشی، دادهها و امکانات پردازشی به شرکتهای دیجیتال کمک کردهاند تا بدون اتکاء به ملزومات سنتی این صنایع (نظیر سرمایهگذاری برای در اختیار گرفتن داراییهای غیرمنقول) وارد این بازارها شوند. این شرکتها با استفاده از امکاناتی مثل شبکههای اجتماعی توانستهاند حتی موفقتر از رقبای قدیمیتر خود عمل کنند.
ما در آغاز دورانی نوین هستیم که فناوریهای جدید امواج پیاپی تغییر با خود بههمراه میآورند؛ تغییراتی پرشتاب که دیگر چیزی معمول بهحساب میآید و هر بار با نفوذی بیشتر، زمین رقابت را تحت تأثیر خود قرار میدهد.
سوخت حرکت به جلوی فناوری دادهها
حجم دادهها در جهان به شکلی تصاعدی در حال افزایش است. این سیل دادههای خام بهتنهایی معنایی ندارد و برای تبدیلشان به اطلاعات و بینش معنادار که بتوان از آنها برای پیشبرد اهداف مدنظر استفاده کرد، روشها و ابزارهای گوناگونی توسعه یافتهاند. یادگیری ماشینی، یکی از این روشهاست.
یادگیری ماشینی، که در سالهای اخیر، پیشرفتی خیرهکننده داشته است، مجموعهای از الگوریتمها را از روشهای آماری مثل رگرسیون تا شبکههای عصبی مصنوعی شامل میشود و اکنون به یکی از پیشرفتهترین روشهای تحلیل دادهها بدل شده است. یکی از نیروهای محرکهٔ این پیشرفت خیرهکننده، توسعه امکانات پردازشی با بهکارگیری پردازندههای بهتر، استفاده از پردازندههای گرافیکی، پردازش موازی و سرمایهگذاری برای تدارک خوشههای پردازشی عظیمی بوده که بهصورت خدمات پردازش ابری در دسترس قرار گرفتهاند.
نوآوریهای جدید حاصل همکاری دانشمندان داده در دانشگاهها با شرکتهای مطرح این حوزه است. اینها در شاخههای مختلف از جمعآوری دادهها تا ساخت و بهبود ابزارهای تحلیلی و در نهایت توسعهٔ امکانات پردازشی، مشغول به فعالیتاند. پیشرفتهای هر یک از این گروهها، هم بر فعالیت سایر شاخهها اثرگذار است و هم در ابعاد بزرگتر توان فناوریهای تحلیل دادهها را گسترش میدهد.
برای مثال، افزایش حجم دادههای ثبت شده، به رشد زیرساختهای پردازشی منجر شده است. از طرف دیگر، همین امکانات پردازشی و دادههای جمعآوری شده، باعث شکلگیری نسلهای نوینی از روشهای تحلیلی، مانند یادگیری عمیق (Deep Learning) شده است.
یادگیری عمیق، نوعی روش پردازش داده است که با خوراندن حجم بزرگی از دادهها به گرافی از لایههای پردازشی، الگوها و تعابیری معنادار از آنها به دست میآورد. همنشینی موج عظیم دادهها، امکان ذخیرهسازی آنها و الگوریتمهای جدید به همراه توان خیرهکنندهٔ پردازش، زمینه را برای موج نوآوریهای جدید هموار کرده است. امواجی از پیشرفت که سازوکارهای قدیمی را درهم مینوردند.
رشد تصاعدی حجم دادهها
برای هزاران سال در تاریخ بشر، حجم اطلاعات و دادههای در دسترس بهکندی افزایش مییافت. در دورههای پیشین تاریخی، سرعت افزایش حجم دادهها با رشد جمعیت بشر همخوانی داشت، اما در دهههای اخیر با بهکارگیری ابزارها و شبکههای جدید جمعآوری داده و روشهای تحلیل آن، رشد دادهها با سرعتی حیرتآور اوج گرفته است. فناوریهای نوین شیوهٔ ارتباط ما با دادهها را به شکلی بنیادین متحول کردهاند.
با گسترش زیرساختهای فناوری و اتصال بخشهای مختلف صنایع و خدمات به اینترنت، دریایی از منابع جدید داده شکل گرفت. جستجوهای اینترنتی، فعالیت کاربران در شبکههای اجتماعی و تراکنشهای مالی، منابع دادهای ارزشمندی برای فهم رفتار کاربران به وجود آوردند و با همهگیری اینترنت اشیاء (Internet of things) هر روز میلیونها حسگر جدید به منابع پیشین تولیدکنندهٔ داده اضافه میشوند.
میتوان گفت ما وارد دورانی نو شدهایم که در آن دیگر نمیتوان جلوی تولید داده را گرفت. ازاینرو حجم دادهها سالبهسال رکوردهای جدیدی میزند. کمی بیش از سه دهه پیش در سال ۱۹۸۶ حجم تمامی دادههایی که در جهان وجود داشت تنها سه اگزابایت (یا ۳ میلیون ترابایت) بود. اما برآورد میشود، حجم دادههایی که امروز در جهان وجود دارد، چیزی نزدیک به هشت زتابایت (یا ۸ میلیارد ترابایت) باشد و مقدار این دادهها هم هر سه سال دوبرابر میشود.
امروز، میلیاردها نفر در جهان، از جمله چند ده میلیون نفر در ایران، روزانه از خدمات آنلاین استفاده میکنند و زندگی روزانهٔ بسیاری از مردم عملاً به اینترنت گرهخورده است. برآورد میشود ضریب نفوذ اینترنت در کشور ۹۴ درصد باشد و آمار استفادهٔ چند ده میلیونی ایرانیها از شبکههای اجتماعی و پیامرسانهای اینترنتی، نشانگر درهمتنیدگی زیست در جهانی واقعی و جهان مجازی است.
از هر یک از این فعالیتها یک ردپای اطلاعاتی باقی میماند که شرکتهای اینترنتی آنها را ذخیره و پایش میکنند. دادههایی نظیر جستجوهای اینترنتی، رفتار آنلاین افراد، هر کلیکی که کاربران در صفحات انجام میدهند یا مدت زمانی که در این صفحات سپری میکنند، به همراه تعاملاتی که با یکدیگر دارند و تراکنشهایی که بر بستر وب انجام میدهند، همهوهمه جزئی از دادههایی هستند که ذخیره و پردازش میشوند. عبارت «کلان داده» (Big Data) هم در ابتدا برای اشاره به همین انواع دادهها به کار گرفته شد.
در دههٔ اخیر کاربران اینترنت دیگر تنها نظارهگر اطلاعات در دسترس روی وب، نیستند. کاربران به تولیدکنندهٔ اطلاعات بدل شدهاند که محتوای تولیدی خود را در قالبهای مختلف در شبکههای اجتماعی منتشر میکنند. شرکتهای اینترنتی هم این محتوای تولیدی کاربران را به سرمایههای تجاری خود بدل کرده و از آن ارزش خلق میکنند. اگرچه شرکتهای خارج از عرصهٔ اینترنت، از شرکتهایی اینترنتی کندتر و دیرتر پی به ارزش چنین دادههایی بردهاند، اما بهمرورزمان با دیجیتالسازی ارتباط با مشتریان، حتی این شرکتها هم آماده استفاده از خدمات مبتنی بر داده و تحلیل آن برای بهبود عملکرد خود میشوند.
اما این تنها حجم دادهها نیست که در دهههای اخیر بیشتر شده، بلکه غنای دادهها نیز افزایشیافته. دادههایی که امروز تولید میشوند بسیار متنوع و حامل وجوه اطلاعاتی از جنبههای مختلفی از جهان هستند. جهانی که روزبهروز بیشتر در قالب ارتباطات دیجیتال به یکدیگر متصل میشود. از دوربینهای شهری و حسگرهای ترافیکی تا حسگرهای ثبت ضربان قلب که میتوان با ترکیب آنها، نمایی از رفتار انسانها ترسیم کرد. هر کس میتواند از این اطلاعات برای رسیدن به اهداف خود استفاده کند، برای مثال فروشندگان میتوانند با استفاده از این دادهها نمایههایی از کاربران بسازند و ارائهدهندگان خدمات بهداشتی میتوانند به اتکای این شبکهٔ گسترده، بیمارانشان را از راه دور تحت مراقبت داشته باشند. حتی شرکتهایی که در حوزههای غیرمرتبط با فناوری اطلاعات کار میکنند هم از این انفجار دادهها بینصیب نیستند. شرکت های فعال در حوزه های سنتی مانند شرکتهای معدنی و تولیدی میتوانند با استفاده از سنسورها، ابزارها و روشهای نظارت از راه دور و تحلیل دادهها، وضعیت داراییهای فیزیکی خود را تحتنظر داشته باشند و با بهینهسازی فرایندها از بروز مشکلاتی که بهرهوری را کاهش میدهد (مانند خرابی اضطراری تجهیزات)، جلوگیری کنند.
پیشرفت الگوریتمها
رشد حجم دادهها در کنار سهولت دسترسپذیری آنها، سوخت لازم برای حرکت ماشینها و روشهای پردازشی پیشرفتهتر را مهیا کرده است. یکی از این روشهای نوین، یادگیری ماشینی است که امروز از پیشروترین ابزارهای تحلیلی در دست بشر است.
برنامههای محاسباتی سنتی، با استفاده از قواعد و دستوراتی که برنامهنویسان آنها را مشخص میکنند، دادهها را پردازش میکند. برای چنین برنامهای تمامی روشهای پردازشی از پیش تعریف شده است و برنامه نمیتواند خود را با وضعیتهای جدید تطبیق دهد. البته این رویکرد تولید برنامههای محاسباتی برای خیلی از فعالیتها، کارا و کافی است، اما نمیتوان از آن برای مواجهه با پیچیدگیهای جهان واقعی استفاده کرد.
یادگیری ماشینی، تلاشی است برای بازنمایی نمودی از جهان واقعی با استفاده از دادههایی که از آن جمعآوری شدهاند. یادگیری ماشینی میتواند بر اساس دادههای تازه ادراک خود از جهان را بهبود بخشد یا به عبارتی بهمرورزمان با دریافت دادههای بیشتر شروع به «یادگیری» پدیدهها و الگوهای بین آنها میکند.
وابستگی یادگیری ماشینی به دادهها از برنامههای محاسباتی استاندارد بیشتر است. چرا که الگوریتمهای یادگیری ماشینی بر اساس حجم بزرگی از دادههاست که تلاش میکنند به فهمی از جهان دست یابند. در سالهای اخیر، یکی از نتایج رشد حجمی و غنای دادهها، پیشرفت خیرهکننده این الگوریتمها بوده است. روشهایی مانند یادگیری عمیق برای بسیاری از مسائل در برابر پیچیدگیهای جهان واقعی، از روشهای کلاسیک بسیار بهتر عمل میکنند.
رشد توان پردازشی و امکان ذخیرهسازی برای استفاده از دادهها
آغاز عصر نوین فناوری اطلاعات، وابسته به رشد توان پردازش در نیمقرن گذشته بوده است. کامپیوترها در آغاز دوران اینترنت در دههٔ ۹۰ میلادی، توان پردازش چند میلیارد محاسبه در هر ثانیه را داشتند یا بهعبارتدیگر سرعت آنها چند گیگا فلاپس بود. هر فلاپس (FLOPS) را میتوان به طور ساده، یک عمل محاسباتی در ثانیه دانست. امروز سوپرکامپیوترها بسیار قدرتمندتر شدهاند و امکان پردازش چند هزار تریلیون محاسبه در هر ثانیه را دارند. یعنی سرعت آنها به پتا فلاپس بیان میشود.
در کنار افزایش توان پردازش کامپیوترها، هزینهٔ پردازش هم در دهههای اخیر بهسرعت کاهش یافته است. میزان توان پردازشی که میتوان با هر دلار خرید، به طور متوسط هر ده سال چهار برابر بیشتر شده است که به معنای دسترسی بیشتر به امکانات پردازشی و استفاده از آن برای تحلیل دادهها بوده.
کشورهای مختلف در حال رقابت برای ساخت ابرکامپیوترهایی قدرتمندتر و قدرتمندتر هستند که هر یک نسبت به نسلهای پیش از خود صدها بار سریعترند. کشورهایی مثل چین، امریکا، ژاپن و اتحادیهٔ اروپا بیشترین ابرکامپیوترهای متمرکز را در اختیار دارند. عامل رشد توان ابرکامپیوترها را میتوان در الگویی یافت که به قانون مور (Moore’s Law) مشهور شده است. طی نیمقرن اخیر تعداد ترانزیستورها در پردازندههای کامپیوتری هر دو سال، دوبرابر شده است. این الگو را گوردون مور، از پایهگذاران و مدیر اسبق شرکت اینتل پیشبینی کرده بود. اما قانون مور دیگر پایدار نیست. به دلایل فیزیکی، دیگر امکان جادادن تعداد بیشتری ترانزیستور در پردازندهها وجود ندارد، اما با اینکه به پایان دوران قانون مور نزدیک میشویم، نوآوریهایی مثل پردازش موازی و توزیعشده در کنار فناوریهایی مثل پردازش کوانتومی و روشهای هوش مصنوعی، عملاً امکانات پردازشی را همچنان بیشتر و بیشتر خواهند کرد.
یکی از حوزههایی که به رشد توان پردازشی و پیشرفت روشهای هوش مصنوعی کمک زیادی کرد، صنعت بازیهای کامپیوتری بود. صنعتی که کسی تصور نمیکرد باعث انقلابی در عرصهٔ امکان پردازش شود. در صنعت بازیهای کامپیوتری به نوع ویژهای از پردازش موازی نیاز است که تنها در پردازندههای گرافیکی یافت میشود. پردازندههای گرافیکی یا GPUها جای آنکه چند هستهٔ پردازشی بسیار سریع داشته باشند، تعداد بسیار زیادی هستههای پردازشی با سرعتی کمتر دارند، اما همین پردازندهها نشان دادند که میتوانند سرعت پردازش شبکههای عصبی مصنوعی در روشهای یادگیری عمیق را صدها برابر نسبت به پردازندههای معمول افزایش دهند که به رشد انفجاری یادگیری ماشینی و یادگیری عمیق منجر شد. امروز این روشها تقریباً همهجا استفاده میشوند؛ از پردازش تصاویر دوربینهای شهری و ترافیکی گرفته تا پردازش دادههای رفتار کاربران در شبکههای اجتماعی و تحلیل دادههای پزشکی و غیره.
در کنار رشد توان پردازش، روشهای غیرمتمرکز پردازشی هم روزبهروز ارزانتر شدند. با عرضهٔ پردازندههای ارزان در بازار، افراد بسیاری صاحب کامپیوترهای شخصی و امکانات پردازشی شدند. گروههایی از دانشمندان و افراد عادی با تشکیل شبکههای پردازشی، از این امکانات پردازشی، کنار هم استفاده میکنند. چنین شبکههایی توان پردازشی عظیمی دارند. برای مثال پروژهٔ شبکهٔ پردازشی Folding@home که با هدف اشتراکگذاری توان پردازشی برای تحلیل نوع پیچش پروتئینها توسط دانشمندان دانشگاه واشنگتن و هزاران نفر داوطلب در سراسر جهان ایجاد شده است، سرعتی نزدیک به ۲۵۰۰ پتا فلاپس دارند. توان پردازشی این شبکهٔ عظیم از مجموع توان پردازشی ۵۰۰ ابرکامپیوتر قدرتمند امروز جهان هم بیشتر است.
یکی دیگر از تغییراتی که دسترسی به امکانات پردازشی را سهلتر کرده است، پردازش ابری است. پردازش ابری به هر سازمانی امکان بهرهمندی از خدمات پردازش و ذخیرهسازی را میدهد. سازمانهای بزرگ و کوچک میتوانند بدون داشتن بخشی مجزا برای فناوری اطلاعات در سازمانشان، هرچقدر که نیاز دارند، خدمات پردازشی و ذخیرهسازی تهیه و استفاده کنند. خدمات مربوط به توسعه و نگهداری زیرساختهای لازم برای این امکانات را شرکتهای تخصصی برعهده میگیرند. این به معنای هزینه و مشکلات کمتر در استفاده از فناوری اطلاعات برای سازمانهایی است که قصدشان استفاده از این خدمات است.
برونسپاری خدمات پردازش و ذخیرهٔ داده به شرکتها امکان میدهد از ابزارهای زیادی برای مدیریت سادهتر دادههایشان استفاده کنند. پایگاههای داده بدون محدودیتهای ساختاری (NoSQL) میتوانند بستر جمع آوری دادههای ناساخت یافته را از منابع مختلف، فراهم کنند؛ داده هایی مانند دادههای تصویری، متنی، صوتی یا هر چیز دیگر.
از طرف دیگر گرچه هزینهٔ ذخیرهسازی دادهها روزبهروز ارزانتر میشود، اما سرعت تولید دادهها چنان سرسامآور شده که عملا امکان ذخیرهسازی همهٔ دادهها وجود ندارد. در واقع سرعت تولید سختافزارهای ذخیرهسازی داده و به طبع آن میزان رشد گنجایشی که برای ذخیرهسازی دادهها در جهان وجود دارد، از سرعت رشد تولید داده بهمراتب کمتر است که دلیل آن رشد انفجاری تولید داده بوده است.
عدم ذخیره دادهها میتواند به معنای ازدسترفتن اطلاعات مفید نهفته در آنها هم باشد. برای مثال، مطالعات صنعت انرژی نشان میدهد که بخش بزرگی از دادههای حسگرهای تأسیسات سکوهای نفتی ذخیره نمیشوند و تنها به طور موقت پایش و تحلیل میشوند. میتوان تصور کرد که اگر امکان ذخیرهسازی این دادهها وجود داشت، با جمعآوری و تحلیل آنها در طولانیمدت، امکان یافتن روشهایی برای بهینهسازی فرایندها، کاهش هزینهها و افزایش درآمد در سکوهای نفتی وجود میداشت.
زمان تغییر فرا رسیده است
امروز، فناوریهای مبتنی بر داده، زمین بازی را در بسیاری از بخشهای اقتصادی متحول کردهاند. شرکتهای فناوری که پیشگامان این حرکت بودهاند، حالا با استفاده از امکانات این فناوری، با فاصلهٔ بسیار از رقبای خود پیش افتادهاند. میتوان دید که گسستی بزرگ بین این شرکتهای پیشرو و سایر شرکتها به وجود آمده است.
در بعضی از بازارها، قواعد بازی بهگونهای رقم خورده است که شرکتهای پیشرو عملاً تمامی بازار را در اختیار گرفتهاند. آنچه این شرکتها را از رقبایشان متمایز کرده، توجه آنها به استفاده از امکاناتی است که تحلیل دادهها برایشان به ارمغان آورده است. امکان شناسایی و گسترش افقهای جدید مالی، ایجاد بازارهای نو برای کالا و خدمات، تغییر شیوهٔ ارتباط بین سازمان و مشتریانش و بهینهکردن فرایندهای درونسازمانی برای افزایش بهرهوری، همه جزء مزایایی است که فناوری دادهها برای شرکتهای پیشرو، همراه داشته است.
منبع | Wordstream |
مترجم | بابک سلطانی |
دیدگاه شما