دانلود پایان نامه ارشد: رهیافتی برای نظرکاوی در متون خبری فارسی

دانلود متن کامل پایان نامه مقطع کارشناسی ارشد رشته فناوری اطلاعات

عنوان : رهیافتی برای نظرکاوی در متون خبری فارسی

وزارت علوم، تحقیقات و فناوری

دانشگاه علوم و فنون مازندران

پایان نامه

مقطع کارشناسی ارشد

رشته : فناوری اطلاعات

عنوان : رهیافتی برای نظرکاوی در متون خبری فارسی

استاد راهنما : آقای دکتر مینایی

برای رعایت حریم خصوصی نام نگارنده پایان نامه درج نمی شود

(در فایل دانلودی نام نویسنده موجود است)تکه هایی از متن پایان نامه به عنوان نمونه :(ممکن است هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل است) چکیده :در این پایان‌نامه به رده‌بندی و تعیین گرایش یا قطبیت احساس در نظرات کاربران از نقطه‌نظر مثبت یا منفی بودن نظرات بیان‌شده، در یکی از پربازدیدترین سایت‌های خبری ایران پرداخته‌ایم. برای این‌کار مشخصه‌های جدیدی را معرفی کرده‌ایم. پس از جمع‌آوری و پیش‌پردازش متن نظرات و استخراج این مشخصه‌ها، آن‌ها را با استفاده از رده‌بند‌های مختلف در حالات و ترکیب‌های گوناگون مورد بررسی قرار داده‌ایم. نتایج بدست آمده نشان از کارایی مناسب مشخصه‌های معرفی شده و رده‌بند‌های مورد استفاده دارند به‌طوری‌که بالاترین دقت (نود و سه درصد) در حالتی بدست آمده است که از تمام مشخصه‌ها برای آموزش رده‌بند استفاده شده است.علاوه بر کار رده‌بندی مذکور، با نگاهی به انواع دیگر چالش‌ها، تحقیقات انجام‌شده، و مسائل متنوع مرتبط با کاوش در نظرات متنی کاربران (مانند تشخیص شخص بیان کننده‌ی نظر، تشخیص درجه‌ی شدت گرایش، شناسایی نظرات نامطلوب، و...)، ایده‌ی جدید ایجاد یک موتور جستجوی نظرات مطرح و معماری پیشنهادی برای آن ارائه شده است. کلمات کلیدی : کاوش در نظرات، تجزیه‌وتحلیل احساس، تعیین قطبیت احساس، رده‌بندی احساس، شناسایی گرایش احساس، موتور جستجوی نظرات.   فهرست مطالبفصل1 مقدمه................................................................................... 11-1. مقدمه و ضرورت تحقیق ………………………………………………………………………................21-2. اهداف تحقیق ……………………………………………………………………….............................5فصل2 پیشینه‌ی تحقیق....................................................................... 72-1. مقدمه..................................................................................... 82-2. چالش‌ها و کار‌های مرتبط با حوزه‌ی کاوش در نظرات ......……………………………………...….....82-2-1. شناسایی شخص صاحب نظر..................................................... 82-2-2. تشخیص هدف نظر اظهار‌شده.................................................... 92-2-3. درجه‌بندی نظر...................................................................... 92-2-4. جستجو و یافتن متون هدف..................................................... 102-2-4-1. تشخیص موضوع........................................................... 102-2-4-2. تشخیص زبان............................................................... 102-2-4-3. تشخیص وجود نظر........................................................ 112-2-5. سطح مطالعه‌ی گرایش احساس................................................. 112-2-6. منابع لغوی......................................................................... 112-2-7. مشخصه‌های استفاده‌شده در مطالعات قبلی.................................... 122-2-8. خلاصه‌سازی....................................................................... 122-2-9. وزن‌دهی............................................................................ 122-2-10. شناسایی نظرات نامطلوب...................................................... 132-2-11. پیش‌پردازش‌های لازم بر روی متن........................................... 132-3. ضعف‌هایی در مطالعات قبل که در راستای رفع آن‌ها تلاش شده است ………………………………. 14فصل3 معماری پیشنهادی برای یک موتور جستجوی نظرات........................ 153-1. مقدمه................................................................................... 163-2. واسط کاربر............................................................................ 163-3. مدیریت‌کننده‌ی جستجو............................................................. 173-4. خلاصه‌ساز نتایج...................................................................... 173-5. رتبه‌بند.................................................................................. 173-6. گسترش‌دهنده‌ی پرس‌و‌جو.......................................................... 183-7. پایگاه‌داده‌ی اطلاعات تحلیل‌شده................................................... 183-8. خزش‌گر متمرکز...................................................................... 183-8-1. شناسایی وجود احساس...................................................... 193-8-2. تشخیص موضوع.............................................................. 193-8-3. تشخیص زبان.................................................................. 193-9. پایگاه‌داده‌ی اسناد خام................................................................ 193-10. تجزیه‌و‌تحلیل داده‌ها................................................................ 193-10-1. تشخیص هدف عقیده....................................................... 203-10-2. تشخیص شخص بیان کننده‌ی اظهار‌نظر.................................. 203-10-3. رده‌بندی احساس............................................................ 203-10-4. تشخیص نظرات نا‌مطلوب.................................................. 203-10-5. وزن‌گذاری نظر............................................................... 203-10-6. تجزیه‌و‌تحلیل شبکه‌های اجتماعی......................................... 213-11. پیش‌پردازش اسناد و متون......................................................... 213-11-1. استخراج جملات............................................................ 213-11-2. قطعه‌بندی..................................................................... 223-11-3. بررسی املا.................................................................... 223-11-4. ریشه‌یابی...................................................................... 223-11-5. نرمال‌سازی.................................................................... 223-11-6. تجزیه.......................................................................... 233-11-7. برچسب‌گذاری اجزاء گفتار................................................ 233-12. پایگاه داده‌ی اطلاعات پیش‌پردازش‌شده......................................... 23فصل4 روش تحقیق، آزمایش‌ها، و نتایج................................................ 254-1. مقدمه................................................................................... 264-2. انتخاب زمینه.......................................................................... 264-3. انتخاب و استخراج نظرات.......................................................... 274-4. مشخصه‌های مورد استفاده........................................................... 284-5. پیش‌پردازش‌های انجام‌شده و استخراج بردار‌های مشخصه..................... 304-6. انتخاب رده‌بند‌ها...................................................................... 314-7. آزمایش‌های انجام‌شده............................................................... 324-8. تحلیل نتایج............................................................................ 414-8-1. بهترین نتایج.................................................................... 414-8-2. بررسی ترکیب دو مشخصه‌ی "گرایش آغازگر"، و "نشانه‌های سؤال".. 414-8-3. بررسی افزودن مشخصه‌ی "صفات و قیود استخراج شده به صورت خود‌کار" به دو مشخصه‌ی قبل............................................................. 424-8-4. بررسی تک‌تک مشخصه‌ها................................................... 434-8-5. بررسی لحاظ و عدم لحاظ "نرمال‌سازی" و "تعداد رخداد" مشخصه‌ها. 444-8-6. بررسی رده‌بندهای مورد استفاده............................................. 454-8-7. بررسی تاثیر حذف برخی از صفات و قیود وابسته به زمینه............. 464-8-8. بررسی برخی از رده‌بند‌های مهم و شناخته‌شده‌ی دیگر.................. 46فصل5 نتیجه‌گیری و کار‌های آتی......................................................... 485-1. نتیجه‌گیری............................................................................. 495-2. کار‌های آتی............................................................................ 50مراجع و ماخذ............................................................................... 51پیوست الف: 50 اظهار‌نظر استفاده شده (از 30 خبر)، به‌همراه مشخصه‌های استخراج‌شده از داخل آن‌ها................................................................ 55واژه‌نامه‌ فارسی- انگلیسی.................................................................. 86واژه‌نامه‌ انگلیسی- فارسی.................................................................. 88چکیده‌ی انگلیسی………………………………………………………………………………………………….. 90   فهرست جداولجدول4-1. نتایج بدست‌آمده با لحاظ تعداد رخداد و بدون نرمال‌سازی توسط رده‌بند Naïve Bayesian..................................................................... 34جدول4-2. نتایج بدست‌آمده با لحاظ تعداد رخداد و بدون نرمال‌سازی توسط رده‌بند SVM.................................................................................. 35جدول4-3. نتایج بدست‌آمده با لحاظ تعداد رخداد و بصورت نرمال‌‌شده توسط رده‌بند Naïve Bayesian..................................................................... 36جدول4-4. نتایج بدست‌آمده با لحاظ تعداد رخداد و بصورت نرمال‌‌شده توسط رد‌بند SVM................................................................................... 37جدول4-5. نتایج بدست‌آمده بدون لحاظ تعداد رخداد توسط رده‌بند Naïve Bayesian..................................................................................... 38جدول4-6. نتایج بدست‌آمده بدون لحاظ تعداد رخداد توسط رده‌بند SVM....... 39جدول4-7. نتایج آزمایش مجدد 3 حالت منتخب پس از افزودن صفات و قیود وابسته به زمینه در کنار نتایج قبل.......................................................... 40جدول4-8. نتایج استفاده از رده‌بند‌های دیگر در کنار نتایج قبل برای 4 حالت منتخب........................................................................................ 40 فهرست اشکالشکل3-1. معماری پیشنهادی برای یک "موتور جستجوی نظرات".................. 24     فصل‌1مقدمه  1-1. مقدمه و ضرورت تحقیقاطلاع از نظر دیگران از نقطه‌نظرات گوناگون دارای اهمیت فراوانی است. تصور کنید که قصد دارید کالا یا خدماتی را خریداری کنید. آگاهی از نظر مثبت یا منفی افرادی که قبلا آن کالا یا خدمات را خریداری کرده‌اند چقدر برای شما اهمیت دارد؟ آیا نظر آن‌ها می‌تواند بر تصمیم شما تاثیر‌گذار باشد؟ اگر یک شرکت خدماتی داشتید به چه میزان علاقه‌مند به اطلاع از نظر مخاطبین خود در رابطه با مطلوبیت یا عدم مطلوبیت خدمات خود بودید؟ آیا اطلاع از نظر آن‌ها در اتخاذ تصمیمات بهتر به شما کمک می‌کرد؟ اگر یک کاندیدای انتخاباتی بودید تمایل داشتید تا از اقبال یا عدم اقبال رای‌دهندگان نسبت به خود خبر داشته باشید؟اگر به اطرافمان نگاه کنیم می‌بینیم که افراد حقیقی و حقوقی گوناگون از شرکت‌های بزرگ و سیاستمداران گرفته، تا افراد عادی جامعه در تصمیمات کوچک و بزرگ خود تحت تاثیر نظرات دیگران قرار دارند. طبیعتاً در چنین وضعیتی اطلاع از نظرات افراد اهمیت فراوانی پیدا می‌کند.از طرف دیگر با ظهور وب و گسترش مشارکت کاربران در سال‌های اخیر به‌خصوص با ظهور پدیده‌هایی مثل وبلاگ‌ها[1] و شبکه‌های اجتماعی[2]، و تمایل کاربران برای اظهار و به اشتراک‌گذاری نظرات خود پیرامون مسائل مختلف، شاهد حجم انبوهی از نظرات مکتوبی هستیم که هرگز تاکنون با این حجم، تنوع، و آسانی در دسترس قرار نداشته‌اند. این موضوع به‌همراه اهمیت ذکر‌شده در مورد اطلاع از نظر دیگران توجه محققین علوم کامپیوتر بویژه محققین حوزه‌ی داده‌کاوی[3] را به‌خود جلب کرده است و موجب شکل‌گیری حوزه‌ای جدید تحت عنوان "کاوش در نظرات[4]" گردیده است. بر اساس [1] شاید بتوان سال 2001 میلادی را نقطه‌ی عطفی برای این توجهات دانست.به مرور زمان ابعاد گوناگون جدیدی در حوزه‌ی کاوش در نظرات نمایان گشتند و تحقیقات متنوعی در رابطه با هر یک از این ابعاد شکل گرفتند. به عنوان نمونه نیاز به اطلاع از هویت و مشخصات شخصی که یک نظر را اظهار کرده است مثلا برای تعیین میزان سودمندی آن اظهار نظر، و یا نیاز به تشخیص نظراتی که برای اهداف نامطلوب (از قبیل تبلیغات جهت‌دار به‌نفع یا بر‌علیه یک کالا) درج شده‌اند از جمله‌ی این ابعاد هستند. مروری بر تحقیقات انجام‌شده در حوزه‌ی کاوش در نظرات را می‌توان در [1] و [2] دید. در فصل دو به معرفی ابعاد گوناگون این حوزه و نیز چالش‌های مشترک این حوزه با حوزه‌های دیگر متن‌کاوی[5] (نظیر قطعه‌بندی متن[6] و برچسب زدن اجزاء گفتار[7]) خواهیم پرداخت.وقتی شخصی در رابطه با چیزی نظری را بیان می‌کند، این نظر می‌تواند حاوی ویژگی‌های  احساسی نظیر خشم، ترس، خوشحالی، و ... باشد. از جمله‌ی ویژگی‌های احساسی موجود در نظرات که از مهمترین و اولیه‌ترین بحث‌هایی بوده که در حوزه‌ی کاوش در نظرات مطرح بوده است، گرایش یا به عبارت دیگر مثبت یا منفی بودن نظر اظهار‌شده در مورد هدف اظهار‌نظر است. از تشخیص این ویژگی احساسی در ادبیات این حوزه تحت عناوین "رده‌بندی احساس[8]"، "تحلیل احساس[9]"، "تشخیص قطبیت احساس[10]"، و "تشخیص گرایش احساس[11]" یاد می‌شود. برای مثال اظهار‌نظر "تصویر این تلویزیون خیلی با کیفیت است" حاوی احساس مثبت نسبت به کیفیت تصویر تلویزیون است و در طبقه‌بندی مثبت قرار می‌گیرد، و اظهار‌نظر "تماشای این فیلم را به کسی توصیه نمی‌کنم" حاوی احساس منفی نسبت به فیلم مورد نظر است.آگاهی از "گرایش احساس در نظرات[12]" کاربران در حوزه‌های مختلف از قبیل تجارت، سیاست، تعامل بین انسان و کامپیوتر (برای تعیین نوع عکس‌العمل ماشین بر اساس نظر انسان)، و در انواع تصمیم‌گیری‌های افراد حقیقی و حقوقی کاربرد فراوانی دارد که در آغاز بحث برخی از آن‌ها مورد اشاره قرار گرفتند. این موضوع به‌همراه حجم پایین کار انجام‌شده‌ی مرتبط در حوزه‌ی زبان فارسی (در جستجوی انجام‌شده هیچ مقاله‌ی منتشر‌شده‌ای در این حوزه برای زبان فارسی یافت نشد)، انجام مطالعه در این رابطه برای نظرات بیان‌شده به زبان فارسی را ضروری می‌نماید.علاوه‌بر نیاز به تحقیقات در حوزه‌ی مذکور، اکنون پس از حدود یک دهه که از شروع مطالعات در زمینه‌ی کاوش در نظرات می‌گذرد و ابعاد گوناگونی از آن روشن شده و تا حدودی برروی آن‌ها تحقیق شده است، جای خالی سیستمی که از محصولات خروجی از تحقیقات این حوزه‌های تحقیقاتی، به صورت مجتمع و ترکیبی بهره ببرد و با تجمیع و هماهنگی بین آن‌ها همراه با استفاده از محصولات تحقیقات زمینه‌های مرتبط دیگر، به ارائه‌ی سرویس‌های کاربردی و ترکیبی‌ای بپردازد که به‌تنهایی توسط هیچ‌یک از این بخش‌ها و بدون همکاری با بخش‌های دیگر امکان‌پذیر نخواهد بود دیده می‌شود. چنین سیستمی که کاربران بتوانند انواع گوناگون از نیاز‌های خود را به‌خوبی به آن منتقل کنند و آن‌ها را در مدت زمان کوتاهی دریافت کنند قطعا مورد استقبال شدید کاربران مختلف قرار خواهد گرفت. به عنوان مثال ممکن است تولید کنندگان یک کالای تخصصی با کاربرد صنعتی، نیاز به آگاهی از گرایش نظرات افرادی که دارای تخصص در آن صنعت هستند در رابطه با آن کالای خاص و به صورت خلاصه‌شده داشته باشند. در چنین حالتی سیستم با استفاده از محصول بدست‌آمده از تحقیقات انجام‌شده برای تشخیص هویت اظهارنظرکنندگان و استخراج خصوصیات آن‌ها، نظراتی که توسط افراد مورد‌نظر بیان شده‌اند را شناسایی می‌کند؛ سپس از میان آن‌ها با استفاده از محصول تحقیقات انجام‌شده برای تشخیص هدف اظهارنظر، نظراتی که در رابطه با کالای مورد نظر بیان شده‌اند را جدا می‌کند؛ بعد از آن مثبت یا منفی بودن گرایش این نظرات را با استفاده از محصول بدست‌آمده از تحقیقات مربوط به "تشخیص گرایش احساس" تعیین می‌کند؛ و نهایتاً با استفاده از محصول بدست‌آمده از تحقیقات انجام‌شده در رابطه با خلاصه‌سازی نتایج حاصل را خلاصه‌سازی کرده و به کاربر نمایش می‌دهد. مثال‌های دیگری از نیازهایی متنوعی که کاربران مختلف می‌توانند با در اختیار داشتن چنین سیستمی به آن‌ها دستیابی پیدا کنند عبارتند از : یافتن اشخاصی که در رابطه با یک هدف خاص دارای نظر مثبت هستند، یافتن نظرات منفی  که در رابطه با هدفی خاص و در یک بازه‌ی زمانی خاص بیان شده‌اند، و یافتن گرایش کاربرانی که در یک منطقه‌ی خاص سکونت دارند و در محدوده‌ی سنی خاصی هستند نسبت به یک موضوع اجتماعی. 1-2. اهداف تحقیقبر اساس ضرورتی که برای کار در حوزه‌ی تشخیص گرایش احساس در نظرات کاربران بویژه در زبان فارسی ذکر شد در فصل چهار از این پروژه به این موضوع می‌پردازیم و سعی در رده‌بندی[13] گرایش نظرات کاربران در غالب دو رده‌ی مثبت و منفی خواهیم داشت.بنابر [2] این مسئله می‌تواند در قالب یک مسئله‌ی "یادگیری تحت نظارت[14]" بیان شود که دارای رده‌های مثبت، منفی، و خنثی است و داده‌های استفاده‌شده (برای آموزش[15] و آزمایش[16]) در تحقیقات موجود در این رابطه، اغلب نظراتی است که کاربران در مورد کالاها اظهار کرده‌اند. مزیت استفاده از این داده‌ها آماده بودن آن‌ها به دلیل مشخص بودن مثبت، منفی، یا خنثی بودن آن‌ها ذکر شده است.برای فراهم کردن داده‌های مورد بررسی در این پایان‌نامه، پس از بررسی زمینه‌های گوناگون نظیر نظرات کاربران در شبکه‌های اجتماعی، و نظرات کاربران در مورد گوشی‌های موبایل، نهایتا نظرات کاربران در یکی از پربازدید‌ترین پایگاه‌های خبری یعنی پایگاه خبری تابناک انتخاب گردید. به‌روز بودن و متنوع بودن اخبار درج‌شده در این پایگاه بستر مناسبی برای ارزیابی نظرات مردم در رابطه با موضوعات گوناگون از قبیل سیاسی، اجتماعی، و اقتصادی را فراهم می‌کند.به‌طور خلاصه هدف از کار انجام‌شده در فصل چهار از این پایان‌نامه تشخیص مثبت یا منفی بودن گرایش احساس موجود در نظرات کاربران سایت خبری پربازدید تابناک با استفاده از برخی رده‌بندهای شناخته‌شده و مشخصه‌های جدید ارائه‌شده است. در این راستا تلاش می‌شود تا قابلیت رده‌بند‌های مورد استفاده و حالات و ترکیب‌های گوناگون مشخصه‌های معرفی‌شده مورد بررسی قرار گیرند.در راستای نیاز به استفاده‌ی مجتمع از دستاورد‌های تحقیقات مختلف زیر‌مجموعه‌ی حوزه‌ی کاوش در نظرات و تحقیقات حوزه‌های دیگر و ارائه‌ی خدمات ترکیبی مورد درخواست کاربران که در بخش 1-2 مطرح شد، هدف از فصل سه ارائه‌ی ایده‌ی جدیدی در حوزه‌ی کاوش در نظرات است که به رفع این نیاز کمک کند. در این فصل تلاش خواهد شد تا با در کنار هم قرار دادن محصولات تحقیقات انجام‌شده در حوزه‌ی کاوش در نظرات و برخی حوزه‌های مرتبط پردازش متن، هماهنگی میان آن‌ها، الهام گرفتن از معماری موتور‌های جستجوی دیگر، و ارائه‌ی نوآوری، ایده و معماری پیشنهادی برای سیستمی تحت عنوان "موتور جستجوی نظرات" ارائه شود.[1] Weblog[2] Social Network[3] Data Mining[4] Opinion Mining[5] Text Mining[6] Tokenization[7] Pos Tagging[8] Sentiment Classification[9] Sentiment Analysis[10] Sentiment Polarity Identidfication[11] Sentiment Orientation Identification[12] Sentiment Orientation of Reviews[13] Classification[14] Supervised Learning[15] Train[16] Testتعداد صفحه : 100قیمت : 14000تومان

بلافاصله پس از پرداخت ، لینک دانلود پایان نامه به شما نشان داده می شود

و در ضمن فایل خریداری شده به ایمیل شما ارسال می شود.

پشتیبانی سایت :        09309714541 (فقط پیامک)        info@arshadha.ir

در صورتی که مشکلی با پرداخت آنلاین دارید می توانید مبلغ مورد نظر برای هر فایل را کارت به کارت کرده و فایل درخواستی و اطلاعات واریز را به ایمیل ما ارسال کنید تا فایل را از طریق ایمیل دریافت کنید.

--  -- --

مطالب مشابه را هم ببینید

فایل مورد نظر خودتان را پیدا نکردید ؟ نگران نباشید . این صفحه را نبندید ! سایت ما حاوی حجم عظیمی از پایان نامه های دانشگاهی است. مطالب مشابه را هم ببینید. برای یافتن فایل مورد نظر کافیست از قسمت جستجو استفاده کنید. یا از منوی بالای سایت رشته مورد نظر خود را انتخاب کنید و همه فایل های رشته خودتان را ببینید