پایان نامه استخراج اتوماتیك اطلاعات بر اساس آنتالوژی

پایان نامه استخراج اتوماتیك اطلاعات بر اساس آنتالوژی

مقدمه

تا ده سال پیش كسی هرگز فكر آن را نمی كرد كه روزی اینترنت بتواند تا این حد در زنـدگی انـسانها رسوخ نموده و در شیوه زندگی، اخبار، اطلاع رسانی، ارتباطات وغیره تاثیر گذار باشد. امـروزه بـا رشـدروز افزون وب و با وجود ۴۰۰ میلیون وب سـایت [^ISC06] و چنـدین میلیـارد منـابع اطلاعـاتی (شـا مل صفحات^HTML ، فایل های صوتی، ویدئویی، تصاویر ، ^RSS ،^XML و غیره)، عمـلا وب جـاری بـه یـككتابخانه بزرگ از منابع و اطلاعات مختلف تبدیل شده است.  

بازیابی و استخراج اطلاعات 

دسترسی آسان به منابع وب و حجم كثیر اطلاعات و مفـاهیم موجـود در صـفحه وب، آن را بـه یـكگنجینه ارزشمند از آنتالوژی های غیر رسمی تبدیل كرده است. از این رو استخراج آنتـالوژی هـای رسـمیسازی شده و یا حتی اطلاعات ساختیافته و یكپارچه از صـفحات وب یكـی از موضـوعات مـورد تحقیـقپژوهشگران می باشد. 

همانطور كه گفته شد، صفحات وب برای نمایش و استفاده انسان ها طراحی شده اند و براحتی بـرایماشین ها قابل فهم نمی باشند. لذا برای استخراج اطلاعات از صفحات وب لازم است تا ابتدا با اسـتفاده ازروش های داده كاوی، آماری و غیره، قواعد استخراج را یافته سپس با اعمال این قواعد بـر روی صـفحاتمشابه، اطلاعات مورد نظر را استخراج نمود. عملیات مربوط به اعمال قواعد اسـتخراج بـر روی صـفحاتوب و بازیابی اطلاعات مورد نظر توسط نرم افزاری بنام ^Wrapper انجام می گیرد.  

فهرست مطالب 

فهرست لیست ها............................................................................................................................... و 

۱- مقدمه ..........................................................................................................................................١ 

۱-۱-  وب معنایی...................................................................................................................................... 2

۱-۲-  بازیابی و استخراج اطلاعات............................................................................................................. 3

۱-۳-  محدوده بحث و دستاورد تحقیق ..................................................................................................... ٥ 

۱-۴-  طرح كلی بحث ............................................................................................................................... ٧ 

۲-  مفاهیم و كلیات ...........................................................................................................................٩ 

۲-۱-  معرفی آنتالوژی............................................................................................................................... ٩ 

۲–۱–۱– سطوح بازنمایی آنتالوژی.......................................................................................................................١١ 

۲–۱–۲– زبان های تعریف آنتالوژی.....................................................................................................................١٢ 

۲-۲-  استخراج اطلاعات و وب معنایی...................................................................................................١٤ 

۲-۳-  استخراج اطلاعات از انوع مختلف منابع متنی وب ........................................................................١٦ 

۲-۴-  بازیابی اطلاعات و استخراج اطلاعات...........................................................................................١٧ 

۲- ۴-۱-  "بازیابی داده" در مقابل "بازیابی اطلاعات"...............................................................................................١٩ 

۲- ۴-۲-  "بازیابی اطلاعات برای وب معنایی" در مقابل "بازیابی اطلاعات مبتنی بر آنتالوژی"...................................٢٠ 

۲-۵-  ایجاد آنتالوژی برای وب معنایی....................................................................................................٢٠ 

۲- ۵-۱-  ایجاد دستی آنتالوژی ها..........................................................................................................................٢٠ 

۲- ۵-۲-  ایجاد اتوماتیك آنتالوژی ها.....................................................................................................................٢٢ 

۲-۶-  خلاصه مطالب و نتیجه گیری........................................................................................................٢٤ 

۳-  بررسی سوابق مرتبط با تحقیق .................................................................................................. ٢٥ 

۳-۱-  مقدمه ............................................................................................................................................٢٥ 

۳-۲-  روش های مبتنی بر زبان های پرس و جو .....................................................................................٢٦ 

۳-۳-  روش های مبتنی بر پردازش زبان طبیعی.......................................................................................٢٩ 

۳-۴-  روش های آگاه از HTML............................................................................................................٣٥ 

۳-۵-  روش های استنتاج W^RAPPER.....................................................................................................٣٨ 

۳-۶-  روش های مبتنی بر آنتالوژی .........................................................................................................٤٢ 

۳-۷-  خلاصه مطالب و نتیجه گیری........................................................................................................٤٦ 

  ٤٨ ............................................................................................^ONTOBYONTO معرفی سیستم 

۴-۱-  مقدمه ............................................................................................................................................٤٨ 

۴-۲-  معماری سیستم O^NTOB^YO^NTO.................................................................................................٥٠ 

  ٥٢...............................................................................................W^RAPPER زبان تعریف :WDML  -۳-۴

۴- ۳-۱-  معرفی مستندات ورودی.........................................................................................................................٥٣ 

۴- ۳-۲-  معرفی قالب خروجی.............................................................................................................................٥٤ 

۴- ۳-۳-  معرفی الگوی استخراج...........................................................................................................................٥٥ 

۴-۴-  استخراج با استفاده از WDML.....................................................................................................٦٢ 

۴- ۴-۱-  الگوریتم استخراج..................................................................................................................................٦٢ 

۴- ۴-۲-  اجرای یك مثال......................................................................................................................................٦٦ 

۴-۵-  خلاصه مطالب و نتیجه گیری........................................................................................................٦٨ 

۵-  تولید اتوماتیك فایل های ^WDML........................................................................................... ٧٠ 

۵-۱-  مقدمه ............................................................................................................................................٧٠ 

۵-۲-  آنتالوژی استخراج .........................................................................................................................٧١ 

۵- ۲-۱-  انتخاب زبان...........................................................................................................................................٧٢ 

۵- ۲-۲-  تعریف كلاس ها....................................................................................................................................٧٣ 

۵- ۲-۳-  تعریف خصوصیات................................................................................................................................٧٤ 

۵- ۲-۴-  تعریف الگو ها.......................................................................................................................................٧٧ 

۵- ۲-۵-  تعریف فهرست واژگان آنتالوژی.............................................................................................................٨١ 

۵- ۲-۵-  آنتالوژی استخراج برای یك صفحه وب نمونه.........................................................................................٨٢ 

۵-۳-  الگوریتم ایجاد اتوماتیك WDML................................................................................................٨٤ 

۵- ۳-۱-  تولید ^WDML........................................................................................................................................٨٥ 

  ٨٧.......................................................................................................................................^Wapper ایجاد  -۲-۳ -۵

۵- ۳-۳-  یافتن الگو ها..........................................................................................................................................٨٩ 

۵- ۳-۴-  روتین های اولیه مورد نیاز در پردازش الگو ها........................................................................................٩٣ 

۵-۴-  اجرای الگوریتم در یك صفحه نمونه ..........................................................................................١٠٢ 

۵-۵-  خلاصه مطالب و نتیجه گیری......................................................................................................١٠٦ 

۶-  ارزیابی و جمع بندی مطالب ................................................................................................... ١٠٧ 

۶-۱-  مقدمه ..........................................................................................................................................١٠٧ 

۶-۲-  شاخص های ارزیابی...................................................................................................................١٠٨ 

۶-۳-  روش و نتایج ارزیابی ..................................................................................................................١١٠ 

۶-۴-  نقاط گسترش تحقیق...................................................................................................................١١٢ 

۷-  منابع ....................................................................................................................................... ١١٣ 

۸-  ضمائم .................................................................................................................................... ١١٦ 

۸-۱-  آنتالوژی استخراج نمونه برای گوش های تلفن همراه .................................................................١١٦ 

فهرست شكل ها 

شكل ۱ : نمودار رشد سایت های اینترنتی [ISC06] ........................................................................................................١ 

شكل ۲: عملكرد Wrapper ها .......................................................................................................................................٣ 

شكل ۳: مولفه خزشگر .....................................................................................................................................................٥ 

شكل ۴: مولفه تولید كننده Wrapper..............................................................................................................................٦ 

شكل ۵: مولفه استخراج كننده ...........................................................................................................................................٦