donya88
02-01-2011, 11:07 AM
داده کاوی چیست؟ مقدمه:
جامعه مبتنی بر اطلاعات را می توان به عنوان جامعه ای تعریف نمود که بخش غالب اجتماع به جای کارهای فیزیکی در گیر كارهای فکری هستند. در چنین جامعه ای بیشترین توجه به فعالیت های اطلاعاتی از قبیل فراهم آوری، پردازش، تولید، ثبت، انتقال، اشاعه و مدیریت اطلاعات مبذول می گردد و بیشترین هزینه ها صرف فرایندهای اطلاعاتی می شود. با گسترش سیستم های پایگاهی و حجم بالای داده های ذخیره شده در این سیستم ها، به ابزاری نیاز است تا بتوان این داده ها را پردازش کرد و اطلاعات حاصل از آن را در اختیار کاربران قرار داد. معمولا" کاربران پس از طرح فرضیه ای بر اساس گزارشات مشاهده شده به اثبات یا رد آن می پردازند، در حالی که امروزه به روش هایی نیاز داریم كه به اصطلاح به کشف دانش (Knowledge Discovery) بپردازند، یعنی روش هایی كه با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های منطقی را بیان نمایند. یکی از روش های بسیار مهمی كه با آن می توان الگوهای مفیدی را در میان داده ها تشخیص داد، داده كاوی است. این روش كه با حداقل دخالت كاربران همراه است اطلاعاتی را در اختیار آنها و تحلیل گران قرار می دهد تا براساس آنها تصمیمات مهم و حیاتی در سازمانشان اتخاذ نمایند.
باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها، در حد مگا یا ترابایت، مواجه باشیم. در تمامی منابع داده کاوی بر این مطلب تاکید شده است. هر چه حجم داده ها بیشتر و روابط میان آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان داده ها مشکل تر می شود و نقش داده کاوی به عنوان یکی از روش های کشف دانش، آشكارتر می گردد. داده كاوی از چندین رشته علمی به طور همزمان بهره می برد. از این میان می توان به آمار، تكنولوژی پایگاه داده، هوش مصنوعی، شبكه های عصبی، سیستم های مبتنی بر دانش، بازیابی اطلاعات و ... نام برد که بدون شک آمار مهمترین آنها به حساب می آید.
از لحاظ تاریخی، توسعه داده کاوی را در طول زمان می توان به مراحل زیر تقسیم كرد:
مرحله اولیه: گردآوری وایجاد پایگاه اطلاعاتی (تا دهه 1960)
مرحله دوم: نظام های مدیریتی مبنی بر پایگاه اطلاعاتی (دهه1970 واوایل دهه 1980)
مرحله سوم: نظام های پایگاه اطلاعاتی پیشرفته (اواسط دهه 1980 تازمان حاضر)
مرحله چهارم: انبارش اطلاعات و داده كاوی (اواخر دهه 1980 تا به امروز)
مرحله پنجم: نظام پایگاه اطلاعاتی مبنی برشبكه (دهه 1990 تا كنون)
مرحله ششم: نسل نوین نظام های اطلاعاتی یكپارچه شده (از 2000 به بعد)
بدین ترتیب فعالیتی كه از دهه 1960 شروع شده بود، در دهه 1990 گام های بلندی برداشت و انتظار می رود در این قرن به رشد و بالندگی خود ادامه دهد.
تعریفی از داده كاوی:
بطور كلی، داده كاوی (كه گاهی اوقات اكتشاف اطلاعات یا دانش نامیده می شود) عبارت از فرآیندی است كه از چشم اندازهای مختلف به تحلیل داده ها می پردازد و جمع بندی آنها را در قالب اطلاعات مفیدی ارائه می كند. این اطلاعات را می توان برای افزایش در آمد، كاهش هزینه ها یا هر دو به كاربرد.
به لحاظ فنی، داده كاوی عبارت از فرآیندی است كه در میان حوزه های گوناگون بانك های اطلاعاتی ارتباطی بزرگ، همبستگی ها یا الگوهایی را پیدا می كند. داده کاوی در حقیقت یکی از ابزارهای علم آمار به حساب می آید، اما گاهی دیده می شود که در برخی موارد آن را به عنوان شاخه ای جداگانه در نظر می گیرند و یا حتی سعی در بیان تفاوت های آن با آمار دارند.
پنج ویژگی مهم داده كاوی عبارت است از:
1) استخراج، دگرگونی و بار نمودن داده های تراكنشی بر روی سیستم انبار داده ها؛
2) ذخیره و مدیریت داده¬ها در سیستم بانك اطلاعات چندبعدی؛
3) فراهم آوردن امكان دسترسی تحلیل گران تجاری و متخصصان تحلیل اطلاعات به داده ها؛
4) تحلیل داده ها با استفاده از نرم افزاركاربردی؛
5) معرفی نمودن، در یك قالب بندی سودمند، همانند گراف یا جدول؛
داده كاوی به چه كار می آید؟
امروزه در درجه اول شركت ها ازداده كاوی استفاده می كنند. داده كاوی این شركت ها را قادر می سازد كه رابطه عوامل «درونی» (مانند قیمت، موقعیت یابی فرآورده یا مهارت های كارمندان) را با عوامل «خارجی» (مانند شاخص های اقتصادی، رقابت و آمارگیری جمعیتی مشتری) مشخص كنند؛ داده كاوی شركت ها را قادر می سازد اثرگذاری بر مشتری، رضایتمندی مشتری و منافع شركت را تعیین كنند. بالاخره، شركت ها را قادر می سازد كه اطلاعات فشرده را برای دیدن داده های معاملاتی دقیق «حفاری» نمایند.
برخی از کاربردهای داده کاوی در محیط های واقعی عبارتند از:
1) خرده فروشی: از کاربردهای کلاسیک داده کاوی است که می توان به موارد زیر اشاره کرد:
1-1) تعیین الگوهای خرید مشتریان
1-2) تجزیه و تحلیل سبد خرید بازار
1-3) پیشگویی میزان خرید مشتریان از طریق فروش الکترونیکی
2) بانکداری:
2-1) پیش بینی الگوهای کلاهبرداری از طریق کارت های اعتباری
2-2) تشخیص مشتریان ثابت
2-3) تعیین میزان استفاده از کارت های اعتباری بر اساس گروه های اجتماعی
3) بیمه:
3-1) تجزیه و تحلیل دعاوی
3-2) پیشگویی میزان خرید بیمه نامه های جدید توسط مشتریان
4) پزشکی:
4-1) تعیین نوع رفتار با بیماران و پیشگویی میزان موفقیت اعمال جراحی
4-2) تعیین میزان موفقیت روش های درمانی در برخورد با بیماری های صعب العلاج
نتیجه اینكه بسیاری از سازمان ها بر معادنی از طلا تكیه زده اند. این گنجینه گران بها در شركت های بیمه همان داده های جمع آوری شده از بیمه گذاران، بیمه شدگان، زیان دیدگان، مقصران حادثه و انواع بیمه های فروخته شده است كه می باید با بهره گیری از تكنولوژی های جدید و ابزارهای خودكاری كه به صورت هوشمند آن هارا تجزیه وتحلیل می كنند، گردآوری و پردازش شده و به دانش تبدیل و به كار گرفته شوند.
جامعه مبتنی بر اطلاعات را می توان به عنوان جامعه ای تعریف نمود که بخش غالب اجتماع به جای کارهای فیزیکی در گیر كارهای فکری هستند. در چنین جامعه ای بیشترین توجه به فعالیت های اطلاعاتی از قبیل فراهم آوری، پردازش، تولید، ثبت، انتقال، اشاعه و مدیریت اطلاعات مبذول می گردد و بیشترین هزینه ها صرف فرایندهای اطلاعاتی می شود. با گسترش سیستم های پایگاهی و حجم بالای داده های ذخیره شده در این سیستم ها، به ابزاری نیاز است تا بتوان این داده ها را پردازش کرد و اطلاعات حاصل از آن را در اختیار کاربران قرار داد. معمولا" کاربران پس از طرح فرضیه ای بر اساس گزارشات مشاهده شده به اثبات یا رد آن می پردازند، در حالی که امروزه به روش هایی نیاز داریم كه به اصطلاح به کشف دانش (Knowledge Discovery) بپردازند، یعنی روش هایی كه با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های منطقی را بیان نمایند. یکی از روش های بسیار مهمی كه با آن می توان الگوهای مفیدی را در میان داده ها تشخیص داد، داده كاوی است. این روش كه با حداقل دخالت كاربران همراه است اطلاعاتی را در اختیار آنها و تحلیل گران قرار می دهد تا براساس آنها تصمیمات مهم و حیاتی در سازمانشان اتخاذ نمایند.
باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها، در حد مگا یا ترابایت، مواجه باشیم. در تمامی منابع داده کاوی بر این مطلب تاکید شده است. هر چه حجم داده ها بیشتر و روابط میان آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان داده ها مشکل تر می شود و نقش داده کاوی به عنوان یکی از روش های کشف دانش، آشكارتر می گردد. داده كاوی از چندین رشته علمی به طور همزمان بهره می برد. از این میان می توان به آمار، تكنولوژی پایگاه داده، هوش مصنوعی، شبكه های عصبی، سیستم های مبتنی بر دانش، بازیابی اطلاعات و ... نام برد که بدون شک آمار مهمترین آنها به حساب می آید.
از لحاظ تاریخی، توسعه داده کاوی را در طول زمان می توان به مراحل زیر تقسیم كرد:
مرحله اولیه: گردآوری وایجاد پایگاه اطلاعاتی (تا دهه 1960)
مرحله دوم: نظام های مدیریتی مبنی بر پایگاه اطلاعاتی (دهه1970 واوایل دهه 1980)
مرحله سوم: نظام های پایگاه اطلاعاتی پیشرفته (اواسط دهه 1980 تازمان حاضر)
مرحله چهارم: انبارش اطلاعات و داده كاوی (اواخر دهه 1980 تا به امروز)
مرحله پنجم: نظام پایگاه اطلاعاتی مبنی برشبكه (دهه 1990 تا كنون)
مرحله ششم: نسل نوین نظام های اطلاعاتی یكپارچه شده (از 2000 به بعد)
بدین ترتیب فعالیتی كه از دهه 1960 شروع شده بود، در دهه 1990 گام های بلندی برداشت و انتظار می رود در این قرن به رشد و بالندگی خود ادامه دهد.
تعریفی از داده كاوی:
بطور كلی، داده كاوی (كه گاهی اوقات اكتشاف اطلاعات یا دانش نامیده می شود) عبارت از فرآیندی است كه از چشم اندازهای مختلف به تحلیل داده ها می پردازد و جمع بندی آنها را در قالب اطلاعات مفیدی ارائه می كند. این اطلاعات را می توان برای افزایش در آمد، كاهش هزینه ها یا هر دو به كاربرد.
به لحاظ فنی، داده كاوی عبارت از فرآیندی است كه در میان حوزه های گوناگون بانك های اطلاعاتی ارتباطی بزرگ، همبستگی ها یا الگوهایی را پیدا می كند. داده کاوی در حقیقت یکی از ابزارهای علم آمار به حساب می آید، اما گاهی دیده می شود که در برخی موارد آن را به عنوان شاخه ای جداگانه در نظر می گیرند و یا حتی سعی در بیان تفاوت های آن با آمار دارند.
پنج ویژگی مهم داده كاوی عبارت است از:
1) استخراج، دگرگونی و بار نمودن داده های تراكنشی بر روی سیستم انبار داده ها؛
2) ذخیره و مدیریت داده¬ها در سیستم بانك اطلاعات چندبعدی؛
3) فراهم آوردن امكان دسترسی تحلیل گران تجاری و متخصصان تحلیل اطلاعات به داده ها؛
4) تحلیل داده ها با استفاده از نرم افزاركاربردی؛
5) معرفی نمودن، در یك قالب بندی سودمند، همانند گراف یا جدول؛
داده كاوی به چه كار می آید؟
امروزه در درجه اول شركت ها ازداده كاوی استفاده می كنند. داده كاوی این شركت ها را قادر می سازد كه رابطه عوامل «درونی» (مانند قیمت، موقعیت یابی فرآورده یا مهارت های كارمندان) را با عوامل «خارجی» (مانند شاخص های اقتصادی، رقابت و آمارگیری جمعیتی مشتری) مشخص كنند؛ داده كاوی شركت ها را قادر می سازد اثرگذاری بر مشتری، رضایتمندی مشتری و منافع شركت را تعیین كنند. بالاخره، شركت ها را قادر می سازد كه اطلاعات فشرده را برای دیدن داده های معاملاتی دقیق «حفاری» نمایند.
برخی از کاربردهای داده کاوی در محیط های واقعی عبارتند از:
1) خرده فروشی: از کاربردهای کلاسیک داده کاوی است که می توان به موارد زیر اشاره کرد:
1-1) تعیین الگوهای خرید مشتریان
1-2) تجزیه و تحلیل سبد خرید بازار
1-3) پیشگویی میزان خرید مشتریان از طریق فروش الکترونیکی
2) بانکداری:
2-1) پیش بینی الگوهای کلاهبرداری از طریق کارت های اعتباری
2-2) تشخیص مشتریان ثابت
2-3) تعیین میزان استفاده از کارت های اعتباری بر اساس گروه های اجتماعی
3) بیمه:
3-1) تجزیه و تحلیل دعاوی
3-2) پیشگویی میزان خرید بیمه نامه های جدید توسط مشتریان
4) پزشکی:
4-1) تعیین نوع رفتار با بیماران و پیشگویی میزان موفقیت اعمال جراحی
4-2) تعیین میزان موفقیت روش های درمانی در برخورد با بیماری های صعب العلاج
نتیجه اینكه بسیاری از سازمان ها بر معادنی از طلا تكیه زده اند. این گنجینه گران بها در شركت های بیمه همان داده های جمع آوری شده از بیمه گذاران، بیمه شدگان، زیان دیدگان، مقصران حادثه و انواع بیمه های فروخته شده است كه می باید با بهره گیری از تكنولوژی های جدید و ابزارهای خودكاری كه به صورت هوشمند آن هارا تجزیه وتحلیل می كنند، گردآوری و پردازش شده و به دانش تبدیل و به كار گرفته شوند.