تاریخچه :
واژه رگرسیون در فرهنگ لغت به معنی بازگشت است و اغلب جهت رساندن مفهوم "بازگشت به یک مقدار متوسط یا میانگین” به کار می رود. بدین معنی که برخی پدیده ها به مرور زمان از نظر کمی به طرف یک مقدار متوسط میل می کنند .
بیش از ١٠٠ سال پیش در سال ١٨٧٧ فرانسیس گالتون (Francis Galton) در مقاله ای که در همین زمینه منتشر کرد اظهار داشت که متوسط قد پسران دارای پدران قد بلند ، کمتر از قد پدرانشان می باشد . به نحو مشابه متوسط قد پسران دارای پدران کوتاه قد نیز بیشتر از قد پدرانشان گزارش شده است. به این ترتیب گالتون پدیده بازگشت به طرف میانگین را در داده هایش مورد تأکید قرار داد . برای گالتون رگرسیون مفهومی زیست شناختی داشت اما کارهای او توسط کارل پیرسون (Karl Pearson) برای مفاهیم آماری توسعه داده شده . گرچه گالتون برای تأکید بر پدیده "بازگشت به سمت مقدار متوسط" از تحلیل رگرسیون استفاده کرد، اما به هر حال امروزه واژه تحلیل رگرسیون جهت اشاره به مطالعات مربوط به روابط بین متغیرها به کار برده می شود .
نمودار پراکندگی :
در حقيقت تحليل رگرسيوني فن و تکنيکي آماري براي بررسي و مدل سازي ارتباط بين متغيرها است. رگرسيون تقريباً در هر زمينه اي از جمله مهندسي، فيزيک، اقتصاد، مديريت، علوم زيستي، بيولوژي و علوم اجتماعي برای برآورد و پیشبینی مورد نیاز است . مي توان گفت تحليل رگرسيوني، پرکاربردترین روش در بين تکنيک هاي آماري است. شمايي کلي و خلاصه شده از يک تحليل رگرسيوني ساده به صورت زير مي باشد:
در ابتدا تحليل گر حدس مي زند که بين دو متغير نوعي ارتباط وجود دارد ، در حقيقت حدس مي زند که يک رابطه به شکل يک خط بين دو متغير وجود دارد و سپس به جمع آوري اطلاعات کمي از دو متغير مي پردازد و اين داده ها را به صورت نقاطي در يک نمودار دو بعدي رسم مي کند.
اين نمودار که به آن نمودار پراکندگي [scatter plot] گفته مي شود نقش بسيار مهمي را در تحليل هاي رگرسيوني و نمايش ارتباط بين متغيرها ايفا مي کند.
در صورتي که نمودار نشان دهنده اين باشد که داده ها تقريباً (نه لزوماً دقيق) در امتداد يک خط مستقيم پراکنده شده اند، حدس تحليل گر تأييد شده و اين ارتباط خطي به صورت زير نمايش داده مي شود:
y = a x + b
که در آن a عرض از مبدأ و b شيب اين خط است.
متغیر ها و خطا :
بين برخي از نقاط و تصوير آنها بر روي خط رگرسيوني (خط y) کمي تفاوت به چشم ميخورد که از آن به عنوان خطاي برآورد ياد مي کنيم.
اين خطا ممکن است از خطا در اندازه گيري ، شرایط محیط ، تفاوت های طبیعی و... ناشي شده باشد. بنابراين معادله اوليه را به صورت زير اصلاح مي کنيم :
y = ax + b + є
معادله بالا يک مدل رگرسيون خطي ناميده مي شود . معمولاً به x متغير مستقل (رگرسيوني) و به y متغير وابسته (پاسخ) گفته ميشود . که є خطاي تصادفي است که براي کامل شدن مدل و نشان دادن اين که خطا نيز تا حدي وجود دارد در نظر گرفته مي شود.
فرضیات :
معمولا فرض میشود که خطاها یکدیگر را خنثی میکنند ، به عبارت دیگر مجموع خطا ها برابر صفر است . همچنین فرض میشود خطای موجود در یک مشاهده رابطه ای با خطاهای دیگر ندارد و در نهایت تغییرات بین خطاها ثابت در نظر گرفته میشود . این سه فرض برای ساختن یک مدل ضروری است و روشهای بسیاری برای پی بردن به وجود (یا عدم برقراری ) این فرض ها وجود دارد . یکی از دلایل استفاده های نادرست از رگرسیون معمولا نادیده گرفتن این فرض ها است که موجب استدلال های غلط خواهد شد .
در صورتي که در مدل رگرسيوني فقط يک متغير مستقل وجود داشته باشد، مدل را مدل رگرسيوني خطي ساده مي نامند.
روش های رگرسیونی :
تا اين مرحله مدل رگرسيوني معرفي شده و کافي است پارامترهاي مجهول مدل (در اينجا a و b) برآورد شوند. برآورد پارامترها در مدل سازي با استفاده از روش های مختلف انجام میشود از جمله روش کمترین مربع خطا .
روش کمترین مربع خطا که یکی از روش های مورد استفاده در تحلیل رگرسیونی است اولین بار توسط لژندر (Legendre) ریاضیدان فرانسوی در سال 1805 و گوس (Gauss) ریاضیدان مشهور آلمانی در سال 1809 معرفی و در مطالعات نجومی به کار برده شد .
پس تا اين قسمت تحليل گر مدلي مشخص را به عنوان الگويي براي داده ها معرفي کرده است. مرحله بعدي "کنترل مناسب بودن مدل" مي باشد که مدل از نظر قابل استفاده بودن و اين که تا چه حد مي تواند خوب داده ها را بيان کند بررسي مي شود و در مورد بکارگيري مدل تصميم گرفته مي شود. در نتيجه مدل يا قابل استفاده تشخيص داده مي شود و يا اينکه بايد اصلاح شود . بنابراين تحليل رگرسيوني فرآيندي همراه با تکرار و بازنگري است، يعني در ابتدا مدلي معرفي مي شود، کيفيت مدل مورد بررسي قرار میگیرد ، مدل قبول و يا اينکه مجدداً اصلاح مي شود.
رابطه قد و وزن، رابطه عرضه و تقاضا در علم اقتصاد، تعيين رابطه بين سن افراد و فشارخون آنها، رابطه بين ميزان مطالعه دانش آموزان و سطح نمرات آنها، رابطه بين نمرات و ميزان قبولي در کنکور سراسري مثال هایی ساده در کاربرد رگرسیون هستند .
رگرسیون
