رگرسیون

[donya88]

رگرسیون در لغت به معنی بازگشت می باشد و در اصطلاح کاربردی یعنی پی بردن به رفتار یک متغیر به کمک رفتار متغیر دیگر در آمار رگرسیون یعنی یک نوع رابطه یا تابع ریاضی که بین متغیر وابسته از یک سو y و متغیرهای مستقل از سوی دیگر برقرار می باشد . دریافت روابط علت و معلولی بین عوامل تاثیرگذار (x) و تاثیرپذیر (y) ، حصول اطمینان از وجود همبستگی معنی دار بین دو متغیر و همچنین هدف گذاری برای برآورد یک متغیر بر حسب متغیر دیگر است . تحلیل رگرسیونی یک ابزار آماری مفید برای دیدن رابطه ی بین متغیرها به کار می رود . تحلیل رگرسیون فن و تکنیکی آماری برای بررسی و به مدل در آوردن ارتباط بین متغیرهاست . کاربردهای رگرسیون متعدد است . و تقریباً در هر زمینه ای از جمله مهندسی ، فیزیک ، اقتصاد ، مدیریت ، علوم زیستی و بیولوژی و علوم اجتماعی صورت می پذیرد . در حقیقت تحلیل رگرسیونی ممکن است فن و تکنیک آماری با بیشترین و وسیع ترین کاربرد بین تکنیک های آماری باشد .


کاربردهای رگرسیون : مدل های رگرسیونی برای مقاصدی چند مشتمل بر موارد زیر مورد استفاده قرار می گیرند . 1- توصیف داده ها 2- برآورد پارامترها
3- پیشگویی و برآورد

4- کنترل رگرسیون استوار
هرگونه مطالعه روابط بین متغیرها از طریق تحلیل رگرسیون صورت می پذیرد هدف اولیه در رگرسیون کشف و ارائه توصیفی تا حد ممکن دقیق از روابط بین متغیرها می باشد.

یکی از اقسام رگرسیون، رگرسیون استوار می باشد که اولین بار توسط باکس در سال 1953 در مورد تجزیه و تحلیل داده های پرت می باشد بکار برده شد. رگرسیون استوار برای کاهش اثر مشاهداتی به کار می رود که اگر روش حداقل مربعات به کار گرفته شود، تاثیرگذاری بالایی خواهند داشت. یک رگرسیون استوار علاوه بر حساس نبودن نسبت به داده های پرت وقتی که مشاهدات توزیع نرمال دارد دارای کارایی 95-90 درصد نسبت به روش برآورد حداقل مربعات می باشد. رگرسیون استوار مبتنی بر چهار روش است :

1- برآوردM 2
2- کمترین توان دوم پیراسته
3- برآورد S 4-
4- برآورد MM

[donya88]

تاریخچه :



واژه رگرسیون در فرهنگ لغت به معنی بازگشت است و اغلب جهت رساندن مفهوم "بازگشت به یک مقدار متوسط یا میانگین” به کار می رود. بدین معنی که برخی پدیده ها به مرور زمان از نظر کمی به طرف یک مقدار متوسط میل می کنند .
بیش از ١٠٠ سال پیش در سال ١٨٧٧ فرانسیس گالتون (Francis Galton) در مقاله ای که در همین زمینه منتشر کرد اظهار داشت که متوسط قد پسران دارای پدران قد بلند ، کمتر از قد پدرانشان می باشد . به نحو مشابه متوسط قد پسران دارای پدران کوتاه قد نیز بیشتر از قد پدرانشان گزارش شده است. به این ترتیب گالتون پدیده بازگشت به طرف میانگین را در داده هایش مورد تأکید قرار داد . برای گالتون رگرسیون مفهومی زیست شناختی داشت اما کارهای او توسط کارل پیرسون (Karl Pearson) برای مفاهیم آماری توسعه داده شده . گرچه گالتون برای تأکید بر پدیده "بازگشت به سمت مقدار متوسط" از تحلیل رگرسیون استفاده کرد، اما به هر حال امروزه واژه تحلیل رگرسیون جهت اشاره به مطالعات مربوط به روابط بین متغیرها به کار برده می شود .



نمودار پراکندگی :


در حقيقت تحليل رگرسيوني فن و تکنيکي آماري براي بررسي و مدل سازي ارتباط بين متغيرها است. رگرسيون تقريباً در هر زمينه اي از جمله مهندسي، فيزيک، اقتصاد، مديريت، علوم زيستي، بيولوژي و علوم اجتماعي برای برآورد و پیشبینی مورد نیاز است . مي توان گفت تحليل رگرسيوني، پرکاربردترین روش در بين تکنيک هاي آماري است. شمايي کلي و خلاصه شده از يک تحليل رگرسيوني ساده به صورت زير مي باشد:
در ابتدا تحليل گر حدس مي زند که بين دو متغير نوعي ارتباط وجود دارد ، در حقيقت حدس مي زند که يک رابطه به شکل يک خط بين دو متغير وجود دارد و سپس به جمع آوري اطلاعات کمي از دو متغير مي پردازد و اين داده ها را به صورت نقاطي در يک نمودار دو بعدي رسم مي کند.

http://pnu-club.com/imported/mising.jpg (http://groups.google.com/group/mhstat/web/scater1.png)


اين نمودار که به آن نمودار پراکندگي [scatter plot] گفته مي شود نقش بسيار مهمي را در تحليل هاي رگرسيوني و نمايش ارتباط بين متغيرها ايفا مي کند.



در صورتي که نمودار نشان دهنده اين باشد که داده ها تقريباً (نه لزوماً دقيق) در امتداد يک خط مستقيم پراکنده شده اند، حدس تحليل گر تأييد شده و اين ارتباط خطي به صورت زير نمايش داده مي شود:


y = a x + b

http://pnu-club.com/imported/mising.jpg (http://groups.google.com/group/mhstat/web/scatter2.png)
که در آن a عرض از مبدأ و b شيب اين خط است.

متغیر ها و خطا :

بين برخي از نقاط و تصوير آنها بر روي خط رگرسيوني (خط y) کمي تفاوت به چشم مي­خورد که از آن به عنوان خطاي برآورد ياد مي کنيم.

اين خطا ممکن است از خطا در اندازه گيري ، شرایط محیط ، تفاوت های طبیعی و... ناشي شده باشد. بنابراين معادله اوليه را به صورت زير اصلاح مي کنيم :


y = ax + b + є

معادله بالا يک مدل رگرسيون خطي ناميده مي شود . معمولاً به x متغير مستقل (رگرسيوني) و به y متغير وابسته (پاسخ) گفته مي­شود . که є خطاي تصادفي است که براي کامل شدن مدل و نشان دادن اين که خطا نيز تا حدي وجود دارد در نظر گرفته مي شود.


فرضیات :


معمولا فرض میشود که خطاها یکدیگر را خنثی میکنند ، به عبارت دیگر مجموع خطا ها برابر صفر است . همچنین فرض میشود خطای موجود در یک مشاهده رابطه ای با خطاهای دیگر ندارد و در نهایت تغییرات بین خطاها ثابت در نظر گرفته میشود . این سه فرض برای ساختن یک مدل ضروری است و روشهای بسیاری برای پی بردن به وجود (یا عدم برقراری ) این فرض ها وجود دارد . یکی از دلایل استفاده های نادرست از رگرسیون معمولا نادیده گرفتن این فرض ها است که موجب استدلال های غلط خواهد شد .

در صورتي که در مدل رگرسيوني فقط يک متغير مستقل وجود داشته باشد، مدل را مدل رگرسيوني خطي ساده مي نامند.

روش های رگرسیونی :

تا اين مرحله مدل رگرسيوني معرفي شده و کافي است پارامترهاي مجهول مدل (در اينجا a و b) برآورد شوند. برآورد پارامترها در مدل سازي با استفاده از روش های مختلف انجام میشود از جمله روش کمترین مربع خطا .

روش کمترین مربع خطا که یکی از روش های مورد استفاده در تحلیل رگرسیونی است اولین بار توسط لژندر (Legendre) ریاضیدان فرانسوی در سال 1805 و گوس (Gauss) ریاضیدان مشهور آلمانی در سال 1809 معرفی و در مطالعات نجومی به کار برده شد .

پس تا اين قسمت تحليل گر مدلي مشخص را به عنوان الگويي براي داده ها معرفي کرده است. مرحله بعدي "کنترل مناسب بودن مدل" مي باشد که مدل از نظر قابل استفاده بودن و اين که تا چه حد مي تواند خوب داده ها را بيان کند بررسي مي شود و در مورد بکارگيري مدل تصميم گرفته مي شود. در نتيجه مدل يا قابل استفاده تشخيص داده مي شود و يا اينکه بايد اصلاح شود . بنابراين تحليل رگرسيوني فرآيندي همراه با تکرار و بازنگري است، يعني در ابتدا مدلي معرفي مي شود، کيفيت مدل مورد بررسي قرار میگیرد ، مدل قبول و يا اينکه مجدداً اصلاح مي شود.

رابطه قد و وزن، رابطه عرضه و تقاضا در علم اقتصاد، تعيين رابطه بين سن افراد و فشارخون آنها، رابطه بين ميزان مطالعه دانش آموزان و سطح نمرات آنها، رابطه بين نمرات و ميزان قبولي در کنکور سراسري مثال هایی ساده در کاربرد رگرسیون هستند .