2-4- وظایف فیلترینگ اشتراکی…………………………………………………………………………………………….22

 

2-4-1- پیشنهاد……………………………………………………………………………………………………………………….23

 

2-4-2- پیش­بینی…………………………………………………………………………………………………………………….23

 

2-5- دسته بندی متدهای فیلترینگ اشتراکی……………………………………………………………………….23

 

2-5-1- فیلترینگ اشتراکی مبتنی بر حافظه…………………………………………………………………………24

 

2-5-1-1- فیلترینگ اشتراکی مبتنی بر حافظه با پیش­بینی بر اساس کاربران…………………….25

 

2-5-1-2- فیلترینگ اشتراکی مبتنی بر حافظه با پیش­بینی بر اساس اقلام…………………………25

 

2-5-1- 3- تفاوت فیلترینگ اشتراکی بر اساس کاربران و بر اساس اقلام……………………………..26

 

2-5-2- فیلترینگ اشتراکی مبتنی بر مدل……………………………………………………………………………..26

 

2-6- نحوه­ تشخیص علائق کاربران………………………………………………………………………………………….27

 

2-6-1- تشخیص علائق به صورت صریح…………………………………………………………………………………27

 

2-6-2- تشخیص علائق به صورت ضمنی……………………………………………………………………………….27

 

2-7- محاسبه­ شباهت……………………………………………………………………………………………………………….28

 

2-7-1- معیار همبستگی پیرسون……………………………………………………………………………………………28

 

2-7-2- معیار اندازه­گیری کسینوس………………………………………………………………………………………..29

 

2-8- انتخاب همسایه……………………………………………………………………………………………………………….30

 

2-8-1- استفاده از حد آستانه………………………………………………………………………………………………….30

 

2-8-2- انتخاب تعداد ثابتی از همسایگان……………………………………………………………………………….30

 

2-9- پیش­بینی و تخمین رتبه…………………………………………………………………………………………………31

 

2-9-1- استفاده از امتیازهای خام……………………………………………………………………………………………31

 

2-9-2- استفاده از امتیازهای نرمال شده………………………………………………………………………………..31

 

2-10- مشکلات فیلترینگ اشتراکی………………………………………………………………………………………..32

 

2-10-1- پراکنده بودن داده…………………………………………………………………………………………………….32

 

2-10-2- مقیاس پذیری………………………………………………………………………………………………………….32

 

2-10-3- اقلام مشابه……………………………………………………………………………………………………………….33

 

2-10-4- گری­شیپ…………………………………………………………………………………………………………………33

 

2-11- بررسی چگونگی کارکرد سایت آمازون…………………………………………………………………………33

 

فصل 3 : روش محتوا محور………………………………………………………………………………………………………36

 

3-1- پیشگفتار………………………………………………………………………………………………………………………….37

 

3-2- روند کار روش محتوا محور……………………………………………………………………………………………..37

 

3-2-1- تحلیل­گر محتوا…………………………………………………………………………………………………………..38

 

3-2-2- یادگیرنده نمایه …………………………………………………………………………………………………..39

 

3-2-3- جزء فیلترینگ…………………………………………………………………………………………………………….42

 

3-3- مزایای روش محتوا محور………………………………………………………………………………………………..42

 

3-3-1- استقلال کاربر……………………………………………………………………………………………………………..42

 

3-3-2- شفافیت……………………………………………………………………………………………………………………….42

 

3-3-3- قلم جدید…………………………………………………………………………………………………………………….43

 

3-4- معایب روش محتوا محور…………………………………………………………………………………………………43

 

3-4-1- کمبود محتوا……………………………………………………………………………………………………………….43

 

3-4-2- خصوصی سازی افزون…………………………………………………………………………………………………43

 

3-4-3- کاربر جدید………………………………………………………………………………………………………………….44

 

فصل 4 : روش پیشنهادی………………………………………………………………………………………………………….45

 

4-1- پیشگفتار………………………………………………………………………………………………………………………….46

 

4-2- بر کارهای انجام شده در این راستا……………………………………………………………………..46

 

4-3- مقدمه­ای بر روش پیشنهادی…………………………………………………………………………………………..48

 

4-4- روش پیشنهادی………………………………………………………………………………………………………………48

 

4-4-1- پیش­ پردازش………………………………………………………………………………………………………………49

 

4-4-1-1- پیش پردازش بر روی پایگاه داده MovieLens………………………………………………………………….

 

4-4-1-2- پیش پردازش بر روی پایگاه داده EachMovie………………………………………………………………..

 

4-4-2- وزن­دهی به اقلام…………………………………………………………………………………………………………51

 

4-4-3- انتخاب­همسایگی…………………………………………………………………………………………………………53

 

4-4-4- پیش­بینی……………………………………………………………………………………………………………………54

 

فصل 5 : آزمایش­ها و نتایج……………………………………………………………………………………………………….56

 

 

5-1- پایگاه داده­های مورد استفاده…………………………………………………………………………………………..57

 

5-2- نحوه­ اجرای روش پیشنهادی روی پایگاه داده­ MovieLens……………………………………………………..

 

5-3- نحوه­ اجرای روش پیشنهادی روی پایگاه داده ٍEachMovie……………………………………………………

 

5-4- معیارهای­ارزیابی………………………………………………………………………………………………………………58

 

5-4-1- میانگین خطای مطلق…………………………………………………………………………………………………58

 

5-4-2- دقت و فراخوانی………………………………………………………………………………………………………….59

 

5-4-3- معیار ارزیابیF1…………………………………………………………………………………………………………60

 

5-5- ارزیابی روش پیشنهادی توسط معیارهای معرفی شده…………………………………………………..61

 

فصل 6 : بحث و نتیجه­ گیری…………………………………………………………………………………………………….66

 

6-1- بحث…………………………………………………………………………………………………………………………………67

 

6-2- نتیجه­گیری……………………………………………………………………………………………………………………..67

 

6-4- پیشنهادات……………………………………………………………………………………………………………………….68

 

مراجع………………………………………………………………………………………………………………………………..69

 

چکیده:

 

سیستم­های پیشنهادگر ابزارهای نرم افزاری و تکنیک­هایی هستند که اقلام را مطابق با نیاز کاربر به او معرفی می­کنند. روش­های محتوا محور و فیلترینگ اشتراکی از راهکارهای موفق در سیستم­های پیشنهادگر می­باشند. روش محتوا محور بر اساس ویژگی­های اقلام تعریف می­شود. این روش بررسی می­کند که اقلام مورد علاقه کاربر دارای چه ویژگی­هایی بوده­اند، سپس اقلام دارای ویژگی­های مشابه را به او پیشنهاد می­کند. روش فیلترینگ اشتراکی بر اساس تعیین اقلام مشابه یا کاربران مشابه کار می­کند که به ترتیب فیلترینگ اشتراکی مبتنی بر اقلام و مبتنی بر کاربران نامیده می­شود. در این پایان نامه یک روش تلفیقی از روش­های فیلترینگ اشتراکی و محتوا محور ارائه شده است. این روش می­تواند به عنوان روش فیلترینگ اشتراکی مبتنی بر کاربر در نظر گرفته شود. به این صورت که به منظور یافتن کاربرانی با سلیقه مشابه با کاربر فعال به عنوان کاربرانی با دقت پیشگویی بالا از ویژگی­های مربوط به محتوای اقلام برای افزایش تاثیر امتیاز­هایی که توسط کاربران به اقلام مشابه تخصیص داده شده است استفاده می­کند. به بیان دیگر دو کاربر مشابه هستند در صورتی که امتیاز­هایی که به اقلامی که از نظر محتوا مشابه هستند نسبت داده­اند، همسان باشند. برای این منظور در هنگام سنجیدن شباهت دو کاربر، به امتیاز نسبت داده شده به هر قلم، با توجه به میزان شباهت آن به قلم هدف، وزن تخصیص می­ یابد.

 

فصل اول

 

1- مقدمه

 

1-1- پیشگفتار

 

پیدایش اینترنت و وب جهان گستر[1] موجب شده است که در رابطه با هر موضوع قابل تصور، حجم بسیار زیادی از اطلاعات وجود داشته باشد که کاربران[2] بتوانند با استفاده از آن نیاز اطلاعاتی خود را برطرف سازند. افزایش روز افزون اطلاعات باعث شد که مشکل سربار اطلاعات[3] به وجود آید و کاربران به تنهایی قادر به برطرف کردن نیازهای خود نباشند. . زیرا کاربران مجبور بودند به صورت بر خط[4] تمامی صفحات را جستجو کنند تا بتوانند آن قسمتی را که مورد نیازشان است پیدا کنند. به همین دلیل موتورهای جستجوگر[5] به وجود آمدند تا کاربران بتوانند با استفاده از آنها بدون نیاز به بررسی تعداد زیادی از صفحات به اطلاعات مورد نظرشان دسترسی پیدا کنند.

 

1-2- موتورهای جستجوگر

 

به عبارت دیگر یک موتور جستجوگر وب سایتی است که می­توان از آن برای پیدا کردن صفحات وب استفاده کرد. وقتی کاربر درخواست خود را در قالب کلمات کلیدی وارد موتور جستجوگر می­کند موتور جستجوگر در بین بیلیون­ها صفحه­ وب جستجو کرده و به کاربر کمک می­کند اطلاعاتی که به دنبال آن است را بیابد. با استفاده از این ابزار سرعت و دقت در جستجو بسیار افزایش یافت و کاربران توانستند به سادگی و در کمترین زمان به بهترین نتایج دست یابند.

 

انواع زیادی از موتورهای جستجوگر توسط کمپانی­های مختلف ساخته شده است که معروف­ترین آنها بینگ[6]، یاهو[7] و گوگل[8] می­باشد (شکل شماره­ 1).

 

هر موتور جستجوگر راه و روش خود را برای سازمان­دهی اطلاعات دارد، پس نتیجه از یک موتور جستجوگر تا دیگری متفاوت خواهد بود.

 

موتورهای جستجوگر به دو دسته­ کلی تقسیم می­شوند : موتورهای جستجوگر پیمایشی[9] و فهرست­های تکمیل دستی[10]. موتورهای جستجوگر ترکیبی[11] نیز حاصل ترکیب دو نوع بالا می­باشند. گونه­ای جدید از موتورهای جستجوگر نیز تحت عنوان ابر جستجوگرها[12] وجود دارد که در ادامه به طور خلاصه به توضیح هر کدام از این موارد خواهیم پرداخت.

 

1-2-1- موتورهای جستجوگر پیمایشی

 

این موتورهای جستجوگر، وب را پیمایش و اطلاعاتی را ذخیره می­کنند. سپس کاربران از میان این اطلاعات آنچه را که می_­خواهند جستجو می­کنند. اگر در صفحه­ وب تغییراتی اعمال شود موتورهای جستجوگر پیمایشی به طور خودکار آنها را می­یابند و تغییرات مذکور را در فهرست­ها اعمال می­کنند. نمونه­هایی ازموتورهای جستجوگر پیمایشی گوگل و یاهو می­باشند.

 

1-2- 2- فهرست­های تکمیل دستی

 

فهرست­های تکمیل دستی وابسته به کاربرانی می­باشد که آن را تکمیل می­کنند. یا کاربر خودش صفحه­ مورد نظر را به همراه توضیحی کوتاه در فهرست ثبت می­کند یا این کار توسط ویراستارهایی که برای آن فهرست در نظر گرفته شده صورت می­پذیرد. در این حالت عمل جستجو تنها بر روی توضیحات ثبت شده انجام می­گیرد و اگر تغییری روی صفحه­ وب به ­وجود آید در فهرست تغییر به وجود نخواهد آمد. نمونه­ای از فهرست­های تکمیل دستی Open Directoryمی­باشد[13].

 

1-2-3- موتورهای جستجوگر ترکیبی

 

این موتورهای جستجوگر نتایج حاصل از جستجوی هر دو نوع بالا را با هم ترکیب می­کنند و نشان می­دهند. علاوه بر این می­توانند برای نتایج یک نوع، اولویت قائل شوند. مثلا موتور جستجوی MSN اولویت را روی نتایج حاصل از فهرست­های تکمیل دستی قرار می­دهد. ولی برای درخواست­های پیچیده، نتایج حاصل از جستجوی پیمایشی را نیز بررسی می­کند.

 

1-2-4- ابر جستجوگرها

 

این نوع جدید از موتورهای جستجوگر نتایج حاصل از چند موتور جستجوگر را ترکیب نموده و نشان می­دهد. به عبارتی دیگر درخواست کاربر را در چندین موتور جستجوگر جستجو کرده، سپس نتایج یافته شده را با هم ترکیب نموده و یک نتیجه­ کلی در اختیار کاربر قرار می­دهد. به عنوان مثال موتور جستجوگر dogpile[14] نتایج حاصل از موتورهای جستجوگرGoogle ، Yahoo، MSN و ASK را با هم ترکیب می_­کند و به کاربر ارائه می­دهد.

 

1-3- سیستم­های پیشنهادگر

 

مطالعات اخیر نشان داده­اند که عمده­ موتورهای جستجوگر با نرخ پایین موفقیت مواجه هستند. این نرخ با میزان دریافت نتایج مرتبط، نسبت به میانگین کاربران جستجو کننده تعیین می­شود. به­ عنوان مثال در یکی از مطالعات[1] بیش از 20000 درخواست جستجو بررسی شده و مشخص گردیده که به طور میانگین در 48% موارد، کاربر در نتایجی که به او ارائه شده حداقل یک مورد مرتبط با جستجویش که ارزش انتخاب داشته باشد پیدا می­کند. به بیان دیگر در 52% موارد، کاربر هیچ کدام از مواردی را که به ­عنوان نتیجه جستجو به او بازگشت داده می­شود انتخاب نمی­کند. البته این مشکل همان قدر که به موتور جستجوگر بستگی دارد به میزان دانش کاربر جستجو کننده در چگونگی نحوه­ جستجو نیز بستگی دارد. زیرا درخواست جستجو ممکن است منجر به ابهام شود و به ندرت می­تواند به روشنی نیاز کاربر جستجو کننده را بیان کند. در این مواقع کاربر با لیست نتیجه­ای که نمی­تواند نیاز اطلاعاتی او را برطرف سازد رو­­­برو می­شود. او در این شرایط معمولا درخواست خود را تعویض یا اصلاح می­کند تا نتیجه­ دلخواهش به او ارائه شود.

 

در [2] نشان داده است که 10% از درآمد کسانی که با اطلاعات کار می­کنند به دلیل تلف شدن زمانشان در جستجو از بین می­رود. همچنین در بدترین حالت درصد قابل توجهی از جستجو کننده­ها ممکن است در پیدا کردن اطلاعاتی که مورد نیازشان است با شکست روبرو شوند. این مسائل نشان می­دهد که جستجوی وب بسیار ناکارامدتر از آن است که انتظار می- رود. همچنین علاوه بر افزایش تعداد صفحات وب تعداد کاربران اینترنت نیز به شدت افزایش یافت. کاربران هم می­خواستند نیاز اطلاعاتی­شان را بر طرف کنند و هم مایل به تولید و اشتراک گذاری اطلاعات، علائق و نیازمندی­های خود بودند. بنابراین شبکه­های اجتماعی مانند Facebook و Twitter تاسیس شدند. همچنین سایت­هایی مانند YouTube راه اندازی شد که محلی برای اشتراک­ گذاری فیلم­ها و مشاهده­ فیلم­های به اشتراک گذاشته می­باشد. در این بین برای برطرف نمودن ناکارامدی­های موتورهای جستجوگر و نیازهای کاربران سیستم­های پیشنهادگر به وجود آمدند.