دانلود مقاله داده کاوی (Data mining) در word

توضیحات

  مقاله داده کاوی (Data mining) در word دارای 52 صفحه می باشد و دارای تنظیمات و فهرست کامل در microsoft word می باشد و آماده پرینت یا چاپ است

فایل ورد مقاله داده کاوی (Data mining) در word  کاملا فرمت بندی و تنظیم شده در استاندارد دانشگاه  و مراکز دولتی می باشد.

توجه : توضیحات زیر بخشی از متن اصلی می باشد که بدون قالب و فرمت بندی کپی شده است

بخشی از فهرست مطالب پروژه مقاله داده کاوی (Data mining) در word

چکیده : 1

مقدمه

داده کاوی (Data mining)    :

1- مرحله کاوش(Exploration)  

مرحله 2- ساختن مدل و معتبر سازی (model building and validation)

مرحله3- مرحلهُ گسترش Deployment):(

مفاهیم تعیین کننده در داده کاوی

1-هم پیوندی (Bagging)

2-طبقه بندی) Boosting  ( 

3.الگوهای ترتیبی

4.خوشه بندی(clustering)

تهیه مقدمات جهت داده کاوی

کاهش داده ها در داده کاوی

گسترش داده کاوی Deployment

آنالیز (Drill – down analysis) 

انتخاب خصیصه ها (Feature selection)

فراگیری ماشین  (Machine learning)

Meta-learning (فراگیری غیر نمادین)

مدل های داده کاوی

فرایند داده کاوی در مدیریت ارتباط با مشتری

داده کاوی پیشگویانه   (Predictive data mining)

تعمیم پشته ای (stacked generalization) .:

متن کاوی  (text mining)  :

انبار داده ها (Data Warehousing )    

مشخصات انبار داده ها

سیستم های انبار داده

معماری های انبار داده

معماری دولایه

معماری سه لایه دولین

OLAP (فرآیند آنالیز  آن لاین) Online analytic processing

تحلیل کاوشگرایانه داده‌ها

تکنیک‌های  محاسباتی EDA: 

روشهای کاوشگرایانه پایه

تکنیک‌های گرافیکی EDA

Brushing

تفکیک‌های گرافیکی دیگر EDA:  :

بررسی صحت نتایج EDA

شبکه‌های عصبی

نتیجه گیری

مراجع

چکیده

       داده کاوی عبارت است از فرآیند خودکار کشف دانش و اطلاعات از پایگاه های داد ه ای

این فرآیند تکنیک ها یی از هوش مصنوعی را بر روی مقادیر زیادی داده اعمال می کند تا روندها , الگوها و روابط مخفی را کشف کند. ابزار های داده کاوی برای کشف دانش یا اطلاعات از داده ها به کاربراتکا نمی کنند، بلکه فرآیند پیشگویی واقعیت ها را خود کار می سازند. این تکنولوژی نوظهور، اخیرًا به طورفزایند های در تحلیل ها مورد استفاده قرار می گیرد

 مقدمه

          امروزه با حجم عظیمی از داده ها روبرو هستیم. برای استفاده از آنها به ابزارهای کشف دانش نیاز داریم. داده کاوی به عنوان یک توانایی پیشرفته در تحلیل داده و کشف دانش مورد استفاده قرار می گیرد. داده کاوی در علوم (ستاره شناسی،;)‌در تجارت (تبلیغات، مدیریت ارتباط با مشتری،;) در وب (موتورهای جستجو،;) در مسایل دولتی (فعالیتهای ضد تروریستی،;) کاربرد دارد.  عبارت داده کاوی شباهت به استخراج زغال سنگ و طلا دارد. داده کاوی نیز اطلاعات را که در انبارهای داده مدفون شده است، استخراج می کند

در واقع هـــــدف از داده کاوی ایجاد مدل هایی برای تصمیم گیری است. این مدلها رفتارهای آینده را براساس تحلیلهای گذشته پیش بینی می کنند. به کاربردن داده کاوی به عنوان اهرمی برای آماده سازی داده ها و تکمیل قابلیتهای انباره داده ، بهترین موقعیت را برای به دست آوردن برتریهای رقابتی ایجاد می کند

داده کاوی (Data mining)

          داده کاوی (Data mining) یک فرایند تحلیلی است که جهت کاوش داده ها (معمولاً حجم بالای داده ها و یا داده های تجاری و مربوط به  بازار) و جستجوی الگوهای پایدار یا روابط سیستماتیک مابین متغیرها بکار میرود وسپس با اعمال الکو های شناسایی شده به زیر مجمو عه های جدید صحت  داده های بدست آمده بررسی میگردد. هدف نهایی داده کاوی پیشگویی است

سازما نها معمولا روزانه مقدار زیادی داده را در انجام عملیات تجاری خود تولید و جمع آوری می کنند

امروزه برای این پایگاه های داده شرکتی عجیب نیست که مقدار داده های آن در حد ترابایت باشد. با این حال علی رغم ثروت اطلاعاتی عظیم ذخیره شده حدس زده می شود که فقط 7کل داد ه هایی که جمع آوری  می شود مورد استفاده قرار می گیرد. بدین ترتیب مقدار قابل توجهی داده که بدون شک حاوی اطلاعات ارزشمند سازمانی است تا حد زیادی دست نخورده باقی می ماند. در محیط تجاری عصر اطلاعات، که هر روز رقابتی تر می شود  می توان با استخراج اطلاعات از داد ه های استفاده نشده به تصمیم گیری های استراتژیک دست یافت. در طول تاریخ تحلیل داده ها از طریق رگرسیون و دیگر تکنیک های آماری انجام شده است.  برای استفاده از این تکنیکها ، لازم است که تحلیل گر مدلی خلق کند و فرآیند گر دآوری دانش را سازمان دهد

اما امروزه این روش ها به تنهایی کافی نیستند و باید از روش ها ی خود کار استفاده کرد

داده کاوی عبارت است از فرآیند خودکار کشف دانش و اطلاعات از پایگاه های داد ه ای

این فرآیند تکنیک ها یی از هوش مصنوعی را بر روی مقادیر زیادی داده اعمال می کند تا روندها ، الگوها و روابط مخفی را کشف کند. ابزار های داده کاوی برای کشف دانش یا اطلاعات از داده ها به کاربر اتکا نمی کنند، بلکه فرآیند پیشگویی واقعیت ها را خود کار می سازند. این تکنولوژی نوظهور، اخیرًا به طور

فرایند های در تحلیل ها مورد استفاده قرار می گیرد

   داده کاوی پیشگویانه رایج ترین نوع داده کاوی است و با برنامه های کاربردی تجاری در ارتباط مستقیم است . فرایند داده کاوی از سه مرحله تشکیل شده است

ا- کاوش اولیه (initial exploration )

   2-ساختن مدل یا شناسایی الگو بوسیله سنجیدن اعتبار وصحت داده ها

   3-گسترش

 1- مرحله کاوش(Exploration)  

این مرحله معمولاً با آماده سازی داده ها آغاز می شود که تشکیل شده است از پاکسازی داده ها (cleaning data) ،تغیر شکل داده ها، انتخاب زیر مجموعه ای از رکورد ها (در زمانی که مجموعه ای از داده ها با حجم بالایی از فیلد ها  موجود است) و انجام دادن برخی عملیات اولیه جهت قرار دادن  متغیر ها در یک بازه قابل مدیریت،که بستگی به روش آماری ای که مورد نظراست دارد و پس ازآن به طبیعت مسئله تحت بررسی مربوط می شود

مرحلهُ اول فرآیند داده کاوی می تواند در هر جایی از گستره ، انتحاب یک روش مستقیم پیشگویی   تا یک روش تجزیه و تحلیل با جزئیات وزحمت بالا قرار داشته باشد .(جهت کسب اطلاعات وسیع تر به قسمت EDA مراجعه کنید)

  این مدل جهت شناسایی متغییر هایی که بیشتر از همه با موضوع مرتبط هستند و جهت مشخص کردن پیچیدگی و طبیعت کلی مسئله در مراحل بعدی مورد استفاده قرار میگیرد

 مرحله 2- ساختن مدل و معتبر سازی (model building and validation)

این مرحله در گیر در نظر گرفتن مدل های مختلف،و انتخاب بهترین آنها بر اساس کارایی در پیشگویی ، می باشد.(برای مثال تعییرات سوُالات را تشریح کندونتایج ثابتی در مقابل نمونه ها تولید کند.) شاید این به نظر عملیات ساده ای بیاید. ولی در واقع بعضی از مواقع در گیر یکسری فرآیند های پیچیده می شود.روشهای مختلفی جهت رسیدن به این هدف وجود دارد که آنها را روشهای ارزیابی رقابتی مدل ها (competitive evaluation of models ) می نامند که مدلهای مختلفی را بر روی یک دادهُ ثابت اعمال می کند و سپس کارایی آنها بررسی می شود تا بهترین آنها انتخاب گردد. این روش ها که در خیلی از مواقع به عنوان هستهُ داده کاوی پیشگویانه تلقی می گردند و شامل    طبقه بندی کردن(bagging،)، ترقی دادن (boosting ) ،انباشتن (stacking )و یادگیری غیر نمادین(meta learning  )میباشند

 مرحله3- مرحلهُ گسترش Deployment

در آخرین مرحله مدلی که به عنوای بهترین مدل در مرحله قبلی انتخاب شده بود بر روی داده های جدید به منظور تولید پیشگویی یا بر آورد خروجی مورد انتظار اعمال میگردد

شهرت داده کاوی به طور روز افزونی به عنوان یک ا بزار مدیریت تجاری داده ها شهرت یافته است و انتظار می رود بتواند ساختار های دانشی را نمایان سازد که در شرایط عدم قطعیت تصمیمات گرفته شده را هدایت کند

روشهای تحلیلی جدید خصوصاً جهت نشان دادن مسائل مرتبط با داده کاوی تجاری ،اخیراًبسیار مورد توجه بوده اند (به عنوان مثال  درخت های رده بندی) ، با این حال داده کاوی هنوز مبتنی بر قواعد مفهومی روشهای دستیابی قدیمی نظیر  آنالیز اکتشافی داده ها (EDA) و مدلساری میباشد. وقسمت هایی از دست آورد های عمومی و بعضی از تکنیک های خاص خود را با آنها به اشتراک می گذارد

بهرحال تفاوت زیادی در نفطه نظرات و اهداف داده کاوی و روش آنالیز اکتشافی داده ها (EDA) وجود دارد . داده کاوی بیشتر متمایل به کاربردها است تا طبیعت اصلی پدیده مورد بررسی.به عبارت دیگر داده کاوی کمتر  به شناسایی روابط خاص موجود بین متغیرها می پردازد.برای مثال آشکار کردن توابع و انواع داده ای خاصی که بر روابط تعاملی و چند متغیری که بین متغیرها وجود دارد هدف اصلی داده کاوی نمی باشد. در عوض توجه خود را به ایجاد روشی که بتواند پیشگویی قابل استفاده ای تولید کند معطوف می سازد. و به همین دلیل است که داده کاوی از بین دست آوردهای جعبه سیاه(black box )  در کاوش داده ها یا اکتشاف دانش مقبولیت بیشتری دارد. و نه تنها از روش های سنتی آنالیز اکتشافی داده ها (exploratory data analysis  (استفاده می کند بلکه از روشهایی مانند شبکه های عصبی   (  Neural network   ) که می تواند پیشگویی های معتبری تولید کند ولی قادر به شناسایی طبیعت خاص روابط داخلی بین متغیرهایی که پیشگویی ها بر اساس آنها صورت گرفته است نمیباشد سود می جوید

مفاهیم تعیین کننده در داده کاوی

1-هم پیوندی (Bagging)

هم پیوندی قابلیتی برای یافتن روابط ناشناخته موجود در اطلاعات است. این روابط مواردی از قبیل اینکه حضور مجموعه ای از مقولات اشاره به این دارند که مجموعه مقولات دیگری نیز احتمالا وجود دارند را شامل می شود. این قابلیت اساسًا روشی است برای اینکه کشف کنیم چه مقولاتی به هم می خورند.  از آن با عنوان تحلیل سبد بازار یا گروه بندی خویشاوندی نیز یاد می شود

برای مثال، گزار شهای هم پیوندی چنین شکلی دارند:” 80 مشتریانی که کالای A را خریداری نموده اند، کالای Bرا نیز خریده اند.” درصد خاص وقوع وقایع) مثلا 80 این نمونه ( را فاکتور اطمینان هم پیوندی B و A می نامند. همچنین ممکن است هم پیوندی های چند گانه وجود داشته باشد: “ 75 مشتریانی که کالای D را خریداری نموده اند، کالای Cرا نیز خریده اند.”

کاربرد های هم پیوندی عبارتند از برنامه ریزی موجودی، برنامه ریزی تبلیغاتی برای فروش و مراسلات بازاریابی مستقیم

مفهوم Bagging (راُی دادن به رده بندی و بدست آوردن متوسط مسائلی که دارای متغیر هایی با مقادیر متوسط وابسته میباشند)و در گستره داده  کاوی اعمال می گردد تا طبقه بندی های پیشگویانه را از مدل های چندگانه یا از یک نوع مدل ، برای درک اطلاعات ترکیب کند . و همچنین جهت نشان دادن بی ثبا تی ماندگار نتایج در زمانی که مدل های پیچیده به مجموعه های کوچک داده ها اعمال می شوند به کار می رود. فرض کنید که عمل داده کاوی شما می خواهد یک مدل جهت طبقه بندی پیشگویا نه بسازد و مجموعه داده های آن نسبتاً کوچک است . شما می توانید به صورت متوالی مجموعه داده ها را به نمونه های کوجکتر تقسیم کنید و اعمال کنید همانند رده بندی درختی تا به نمونه مورد نظر برسید.در عمل درخت های متفاوتی برای نمونه های منقاوت بسط داده میشوند.یکی از روش های استنتاج یک پیشگویی استفاده از قالب درختی در نمونه های مختلف است و پس از آن برخی نظریات بر روی آن اعمال می گردد

طبقه بندی   نهایی  طبقه بندی است که عموماً توسط درخت های متفاوت پیشگویی  می شود. توجه داشته باشید که برخی از ترکیب های وزن دار از پیشگویی ها نیز محتمل است و عموماً مورد استفاده قرار می گیرد. یک الگوریتم پیشرفته جهت ایجاد وزن برای پیشگویی های وزن دار یا voting رویه های Boosting  هستند

 2-طبقه بندی ( Boosting )

برای دریافت اینجا کلیک کنید