بينايی سه بعدی با استفاده از نور ساختار يافته با الگوی رنگی

پژوهش کارشناسی ارشد مناسب برای رشته کامپیوتر و برق 

تعداد صفحات : 135 

فرمت : docx , word 

رفرنس دهی و ارجاعات استاندارد.

فاقد غلط املایی.

   هدف از اين پروژه استخراج پروفايل سه بعدي اجسام به استفاده از روش نور ساختار يافته است.    

 با توجه به بررسي هاي انجام شده نور ساختار يافته داراي مزاياي ويژه اي مي باشد . براي مثال  سيستمهاي مبتني بر اُپتيک معمولا داراي هزينه پايين تري هستند . همچنين سيستم هاي بينايي استرﻳو ( شامل دو دوربين ) يا استريو فتو گرامتري براي سنجش برد کوتاه داراي کاربردهاي زيادي مي باشد . اما اين سيستم در اندازه گيري فواصل کوتاه داراي نواقص و مشکلات مربوط به خود است  . اين مطلب  باعث شده روشهاي نور ساختار يافته در فواصل کوتاه بيشتر مورد توجه قرار گيرد . وجود کدينگ در نور ساختار يافته و کاربرد آن در تناظر يابي  باعث بالاتر رفتن ضريب اطمينان مي شود . براي راه اندازي اين سيستم نياز به يک پروژکتور LCD و يک دوربين تصوير برداري است که با توجه به الگو  از آن مي توان براي بازسازي اجسام متحرک نيز استفاده کرد . در اين ميان نقش اساسي را الگوريتم و نرم افزار نوشته شده براي پردازش ها و اندازه گيريها  برعهده دارد .  مراحل کاري اين  سيستم در فلوچارت به صورت کلي آورده شده است .

اين سيستم داراي کاربردهاي فراواني در استخراج مدل سه بعدي اجسامي از قبيل آثار هنري ، ايجاد مدل کامپيوتري از عروسک ها و مجسمه ها در کاربردهاي انيميشن سازي دارد . همچنين داراي کاربردهاي قابل تطبيق، در سيستم هاي پزشکي و برخي مسائل صنعتي مانند مهندسي معکوس  نيز مي باشد .

_________________________

بخشی از فهرست مطالب پروژه پايان نامه بينايي سه بعدي با استفاده از نور ساختار يافته با الگوي رنگي

چکیده
فصل اول : تئوری نور ساختار یافته و کاربردهای بینایی سه بعدی
1-1- مقدمه
1-2- روشهای غیر فعال بینایی سه بعدی
1-2-1- روش استریوفتوگرامتری
1-3- روشهای فعال بینایی سه بعدی
1-3-1- بکار گیری سنسور تماسی دربینایی سه بعدی
1-3-2- بکار گیری سنسور غیر تماسی دربینایی سه بعدی
1-3-2-1- روش ارسال امواج
1-3-2-2- روش های انعکاسی
1-3-2-2-1- رهیافتهای غیر اپتیکی در روشهای انعکاسی
1-3-2-2-2- رهیافتهای اپتیکی در روشهای انعکاسی
1-3-2-2-2-1 رادار تصویر برداری
1-3-2-2-2-2- روشهای اینترفرومتریک
1-3-2-2-2-3- استخراج عمق از طریق تمرکز بر روش فعال
1-3-2-2-2-4- استریوی فعال
1-3-2-2-2-5- راستراستریوفتوگرامتری
1-3-2-2-2-6- سیستم مجتمع تصویر برداری
1-3-2-2-2-7- تکنیک نور ساختار یافته
1-4- مقایسه روشها وتکنیکها و کاربردهای آنها
1-5- نتیجه گیری
فصل دوم : روشهای مختلف کدینگ الگو
2-1- مقدمه
2-2- روشهای طبقه بندی کدینگ الگوهای نوری
2-2-1- الگوهای نوری از دیدگاه درجات رنگی
2-2-2- الگوهای نوری از دیدگاه منطق کدینگ
2-2-2-1- روشهای مبتنی بر الگوهای چند زمانه (کدینگ زمانی)
2-2-2-1-1- کدینگهای باینری
2-2-2-1-2- کدینگ با استفاده از مفهوم n-ary
2-2-2-1-3- کدینگ با استفاده از مفهوم انتقال مکانی
2-2-2-1-4- کدینگ با استفاده از همسایگی
2-2-2-2- روشهای مبتنی بر همسایگیهای مکانی(کدینگ مکانی)
2-2-2-2-1- کدینگهای غیر متعارف (ابتکاری)
2-2-2-2-2- کدینگ بر اساس دنباله De_Bruijn
2-2-2-2-3- کدینگ بر اساس منطق M-Arrays
2-2-2-3- کدینگ مستقیم
2-3- نتیجه گیری
فصل سوم :پیاده سازی کدینگ و پردازش تصویر
3-1- مقدمه
3-2- تولید کلمه های رمز با استفاده از دنباله De_Bruijn
3-3- تابش الگو و عکسبرداری
3-4- پردازش تصویر
3-4-1- دوسطحی سازی
3-4-2- تشخیص لبه ها و اسکلت بندی
3-4-3- نازک سازی
3-4-4 نقاط تقاطع
3-4-5- شناسایی خطوط
3-5- نتیجه گیری
فصل چهارم
شناسایی رنگ و حل مسئله تطابق و بازسازی سه بعدی
4-1- مقدمه
4-2- شبکه عصبی و شناسایی رنگ
4-2-1- مسئله تغییر رنگ
4-3- طراحی شبکه عصبی
4-4- مسئله تطابق
4-5- بازسازی سه بعدی
4-6- بررسی خطاهای موجود
4-6-1- تغییر رنگ و خروجی غیر قطعی شبکه
4-6-2- ناپیوستگی های تصویر رنگی
4-6-3-خطای همپوشانی
4-7- نتیجه گیری
فصل پنجم : نتیجه گیری و پیشنهادات
5-1 مقدمه
5-2- انتخاب روش و پیاده سازی
5-3- پیشنهادات
پیوست الف : نرم افزار تهیه شده
پیوست ب : مثلث بندی
مراجع
شکل 1-1) ساختار سیستم استریوفتوگرامتری
شکل 1-2) روشهای استخراج پروفایل سه بعدی
شکل 1-3) تصویر برداری از سطوح مختلف توسط رادار
جدول 1-1 : تاخیر زمانی امواج صوتی و نوری
شکل 1-4 : a ) مویره سایه b ) مویره تصویر
شکل 1-5 : دستگاه اندازه گیری سه بعدی بر اساس روش مویره
شکل 1-6 : ساختار سیستم راستر استریو فتوگرامتری
شکل 1-7 : ساختار یک سیستم مجتمع تصویر برداری
شکل 1-8 : ساختار سیستم نور ساختاریافته
شکل 1-9 :تصویر نورساختار یافته موازی این تصویر با تاباندن یک الگو با خطوط عمودی موازی بر روی صورت ساخته شده است
جدول 1-2 :مقایسه روشها و کاربرد آنها
شکل2-1 : طبقه بندی روشهای کدینگ در نورساختاریافته
شکل2-2 : پرده های نوری و نحوه بکارگیری یک الگوی چند زمانه
شکل2-3 : نمونه بازسازی تصویر مجسمه اسب و نقاط دست انسان به وسیله الگوی چند زمانه و روش Postdamer
شکل2-4 : نمونه الگوهای طراحی شده با روش n-ary
شکل2-5 : نمونه بازسازی تصویر مجسمه اسب و نقاط دست انسان به وسیله الگوی چند زمانه و تکنیک n-ary
شکل2-6 : نمای پیک تصویر و انتقال مکانی آن
شکل2-7 : a) الگوی شامل خطوط بریده با اندازه خطوط به عنوان مشخصه مهم b) الگوی تشکیل شده از خطوط افقی با سه سطح خاکستری
شکل2-8 : الگوی طراحی شده با دنباله De-Bruijn
شکل 2-9 : a) طراحی الگوی مرانو b)الگوی کامل شده مرانو
شکل 2-10 : نمونه بازسازی تصویر مجسمه اسب و نقاط دست انسان به وسیله تکنیک M-Array
شکل 2-11 : الگوی طراحی شده توسط گریفین
شکل 2-12 : الگوی خاکستری در رمز نگاری مستقیم
شکل 3-1 : گراف مربوط به B(2,3)
شکل 3-2 : نرم افزار نوشته شده برای تولید الگو و کد 63 شکل 3-3 : نمونه الگوی طراحی شده
شکل 3-4 :تابش نور و شرایط عکس برداری
شکل 3-5 : فلوچارت مراحل تناظر یابی
شکل 3-6 : عمل دوسطحی سازی در نرم افزار نوشته شده
شکل 3-7 : نمونه عمل دوسطحی سازی
شکل 3-8 : نمونه خطای ایجاد شده در استفاده از الگوریتم سبل
شکل 3-9 : نمونه نا پیوستگی ایجاد شده در استفاده از الگوریتم اسکلت بندی ساده
شکل 3-10 : تصویر خروجی مرحله شناسایی لبه ها در نرم افزار نوشته شده
شکل 3-11 : تصویر خروجی مرحله شناسایی لبه ها پس از اعمال ماسک (خطوط پیوسته هستند)
شکل 3-12 :نمونه تصویر خروجی مرحله نازک سازی
شکل 3-13 :ماسکهای استفاده شده برای کشف نقاط تقاطع
شکل3-14 : دسته نقاط یافت شده به عنوان نقاط تقاطع
شکل 3-15 : نقاط تقاطع نهایی
شکل 3-16 : شکل رنگی نشان دهنده اثر همپوشانی خطوط
شکل 3-17 : برچسب گذاری تصویر اسکلت بندی شده
شکل 3-18 : بخشی از فایل خروجی شناسایی خطوط
شکل 4-1 : مقادیر کانالهای رنگی در تصویر گرفته شده از جسم
شکل 4-2 :نرم افزار نوشته شده برای بدست آوردن نقاط نمونه از تصویر و مقادیر کانالهای رنگی متناظر نقاط از تصویر گرفته شده از جسم
شکل 4-3 : شبکه عصبی طراحی شده
شکل 4-4 : نمودار خطای آموزش شبکه برای تصویر الگو
شکل 4-5 : نمودار خطای آموزش شبکه برای تصویر الگوی تابیده شده روی شی
جدول 4-1 : قسمتی از اطلاعات خروجی شبکه پس از عمل گرد سازی
شکل 4-6 : فلوچارت مراحل تناظر یابی
جدول 4-2 : قسمتی از جدول امتیاز دهی به تصویر نقاط الگو و تصویر جسم
جدول 4-3 : قسمتی از جدول نقاط تناظر داده شده و اختلاف مختصات آنها
شکل 4-7 : تصویر یک جعبه تحت تابش
شکل 4-8 : شکل سه بعدی جعبه از روی برایند اختلاف مختصات دو نقطه (محور عمودی )
شکل 4-9 : تصویر یک ماوس تحت تابش
شکل 4-10 : شکل سه بعدی جعبه از روی برایند اختلاف مختصات دو نقطه (محور عمودی )
شکل 4-11 : تصویر یک گلدان تحت تابش
شکل 4-12 : شکل سه بعدی گلدان از روی برایند اختلاف مختصات دو نقطه (بدست آمدن شکل تقریبی نیم استوانه )
شکل الف -1 : محیط برنامه نویسی C# و راه حل به همراه پروژه های تولید الگو و پردازش تصویر و تولید نقاط نمونه برای ورودی شبکه عصبی
شکل الف -2 : تصویر یک جعبه رنگ
شکل الف -3 : تصویر فرم مربوط به ایجاد الگو در برنامه نوشته شده
شکل الف -4 : یک الگوی مناسب تولیدی توسط برنامه
شکل الف -5 : نمایی از فرم برنامه تهیه شده
شکل الف -6 : نمایی از برنامه پردازش تصویر در حال کار
شکل الف-7 : نمایی از برنامه در حال فعال بودن نمودار هیستوگرام و انجام عمل اکولایز کردن
شکل ب-1 :دو دستگاه مختصات الگو و تصویر در سیستم نوری نور ساختاریافته
شکل ب-2 : هندسه ساده سیستم نوری نور ساختاریافته
شکل ب-3 : هندسه مربوط به دوربین و پروژکتور H نقطه ای از جسم است که توسط پروژکتور روشن شده است
شکل ب-4 : مدل pinhole پروژکتور برای محاسبه پهنای خطوط

  مقدمه : 

   نظر به گستردگی روز افزون استفاده از سیستم های هوشمند لزوم بکار گیری سیستم های بینایی اتوماتیک و یا نیمه اتوماتیک به منظور بدست آوردن ابعاد جسم بر کسی پوشیده نیست . در همین راستا در صنایع نیز در ایستگاههای بازرسی و کنترل کیفیت جهت بررسی دقیقتر میزان تطابق قطعه ی درحال تولید با قطعه مورد نظر ، از سیستم های بینایی استفاده می شود . بدین   وسیله علاوه بر مشخص شدن مورد خطا ، محل دقیق آن و میزان خرابی نیز مشخص می شود

از جمله موارد کاربرد دیگر سیستم بینایی می توان به علوم نظامی ، پزشکی ، باستانشناسی ، راه و ساختمان و زمین شناسی و هدایت ربات اشاره کرد که روز به روز استفاده از سیستم های بینایی در آنها افزایش می یابد . سیستم های بینایی معمولی ، تنها به گرفتن یک تصویر دو بعدی از جسم اکتفا می کنند و قادر به تشخیص فاصله و یا ارتفاع و عمق نیستند . به همین دلیل و برای داشتن اطلاعات بیشتر از جسم ، محققان تلاش خود را بر روی بدست آوردن اطلاعات از بعد سوم      (محور Z) متمرکز کردند

در راستای این تلاشها رهیافتهای متفاوتی جهت اسکن سه بعدی یک جسم ارائه شد . در این میان اسکنرهای تماسی مبتنی بر سنسورهای تماسی مکانیکی و اسکنرهای غیر تماسی مبتنی بر تکنولژی اپتیکی از جمله راه کارهایی هستند که محققان در پیش رو دارند . و در این میان راه کارهای اپتیکی به دلیل انعطاف پذیر بودن و هزینه قابل قبول ترجیح داده می شوند . ضمن اینکه در خیلی از موارد از دقت و قدرت بالاتری در مقایسه با تکنولژی تماسی برخوردار هستند

در تحقیق انجام شده پس از بررسی انواع روشهای اپتیکی برای استخراج پروفایل سه بعدی ، یک سیستم نوری بر مبنای نور ساختاریافته کدینگ شده پس از بررسی روشهای کار شده در این   زمینه ، پیاده سازی می شود

فصل اول به بررسی روشهای متفاوت استخراج مدل سه بعدی اشیاء می پردازد. علاوه بر آن کاربردهای مختلف بینایی سه بعدی ارائه می شود . در فصل دوم تکنیکهای مختلف کدینگ الگو در نور ساختاریافته بررسی می شود . در فصل سوم که آغازی برای پیاده سازی است با طراحی یک نوع کدینگ به طراحی یک الگو پرداخته می شود و پردازشهای لازم اولیه در تصاویر برای کشف رمزها توضیح داده می شوند . فصل چهارم با توضیح استفاده از شبکه عصبی برای تعیین کد رنگهای بدست آمده در ادامه به حل مسئله تطابق می پردازد و در نهایت یک بازسازی سه بعدی اولیه از جسم ارائه می دهد .  در نهایت در فصل پنجم به جمع بندی فصول گذشته پرداخته شده و پیشنهاداتی برای ادامه کار داده خواهند شد . در صفحه بعدی فلوچارتی از مراحل کلی کار آورده شده که به طور کلی نمایانگر مراحل کاری می باشد

تئوری نور ساختار یافته و کاربردهای بینایی سه بعدی

روشهای مختلفی برای استخراج پروفایل سه بعدی اجسام وجود دارند . این روشها را می توان از لحاظ نحوه کار به دو دسته کلی غیرفعال و فعال تقسیم بندی کرد .بر خلاف روشهای غیرفعال که بر هم کنش و تغییری روی شکل انجام نمی دهند ، روشهای فعال یا با موضوع ارتباط تماسی بر قرار می کنند و یا بعضی از انواع خاص نور را روی آن تصویر می کنند ( روش نور ساختار یافته)

     بینایی سه بعدی همواره از موضوعات اساسی و مهم در بینایی ماشین  بوده است . این اهمیت به دلیل کاربردهای بسیار مهم و متنوع آن است . کاربردهای مختلف این شاخه بینایی ماشین در اندازه گیری ابعاد یک جسم ، مهندسی معکوس ، کنترل کیفیت محصولات خروجی کارخانه ، شناسایی اشیاء[1] ، تهیه  نقشه سه بعدی ، انیمیشن کامپیوتری ، کاربردهای پزشکی و بسیاری کاربردهای دیگر است

    با توجه به کاربردهای مختلف اندازه گیری سه بعدی ، همواره سیستمهای مختلفی با توجه به نیازهای گوناگون پیاده سازی شده اند . اما در این میان استریو فتو گرامتری از مهمترین و عمده ترین روشها بوده است که در بسیاری از اوقات در بینایی سه بعدی به کار گرفته شده است . اما در دهه های اخیر استفاده از نور ساختار یافته رواج پیدا کرده است . در این فصل به مروری بر روشهای اسکن سه بعدی و کاربردها و اهمیت بازسازی شکل سه بعدی جسم می پردازیم

 1-2-روشهای غیر فعال استخرج پروفایل سه بعدی

 

استفاده از روشهای غیر فعال در بینایی سه بعدی از مدتها بر روی چندین تصویر دیجیتالی معمول بوده است . از جمله این روشها می توان به مثلث بندی دوتایی برای تصاویر جفت ، سایه اندازی[2] و حرکت یا بافت[3] اشاره کرد

در ادامه روش بینایی استریو که یکی از پرکاربردترین روشهای غیر فعال است ، توضیح داده می شود . سپس به تشریح روشهای فعال می پردازیم