.png&blockId=0b22508e-878f-4aad-a479-fc4e87e2abee)
요약
본 발명은 고해상도 다중 스펙트럼 이미지를 재구성하기 위한 양방향 순환 팬샤프닝 네트워크를 제안합니다. 이 네트워크는 임의의 수의 대역으로 고해상도 다중 스펙트럼 이미지를 정확하게 재구성하며, 잔차 예측과 마스크 훈련을 통해 실제 이미지와 저해상도 이미지 사이의 차이를 보정합니다. 이 기술은 항공 영상 분석 등 고해상도 다중 스펙트럼 이미지를 활용하는 다양한 분야에 적용될 수 있으며, 스펙트럼 종속성을 완벽하게 탐색하여 더 나은 성능을 제공합니다.
기본 정보
•
특허명: 항공 영상을 위한 딥러닝 기반 초해상도 처리 장치
•
대표 발명자: 전광길 교수
•
출원번호: 10-2022-0159895
발명의 배경 및 필요성
기술적 배경
•
원격 탐사 위성은 다중 스펙트럼 이미지와 팬크로매틱 이미지를 번갈아 캡처하나, 이미징 장치의 한계로 높은 공간 해상도와 스펙트럼 해상도의 이미지를 동시에 얻기 어려웠음
•
딥러닝의 발전으로 팬샤프닝 성능이 향상되었으나, 대역 수가 다른 다중 스펙트럼 이미지 처리를 위한 별도의 모델이 필요했음
•
기존의 순환 신경망(RNN)은 스펙트럼 종속성을 포함할 수 있으나, 현재 시간 단계 이전의 정보만을 수집하는 한계가 있었음
기술적 필요성
•
다중 스펙트럼 이미지에 대한 모델의 개별 학습은 많은 계산 리소스와 학습 시간을 필요로 했음
•
다수의 개별 모델을 저장하려면 상당한 스토리지 리소스가 필요했음
•
각 히든 상태는 현재 대역과 이전 대역 사이의 스펙트럼 종속성만을 캡처하므로, 다중 스펙트럼 이미지에 대한 스펙트럼 종속성을 완전히 활용하는 데에 한계가 있었음
•
기존의 딥러닝 기반 팬샤프닝 방법에서는 대역 수가 다른 이미지를 훈련용 미니 배치로 그룹화할 수 없는 문제가 있었음
•
본 발명은 위와 같은 문제를 해결하려는 목적을 가지고 있음
구현방법
기술 원리 및 구현
•
이 기술은 입력 유닛, 히든 유닛, 출력 유닛으로 구성된 장치를 통해 저해상도 이미지를 고해상도 다중 스펙트럼 이미지로 변환함
•
팬크로마틱 이미지의 고주파 정보와 잔차 예측을 활용하여 세밀한 이미지를 생성하고, 실제 이미지와 저해상도 이미지 사이의 차이를 보정함
•
양방향 순환 팬샤프닝 네트워크는 순방향 유닛과 역방향 유닛을 가지고 있어, 이전과 이후의 정보를 모두 활용
•
각 유닛의 동작은 복잡한 수학식을 통해 정의되며, 마스크 훈련을 사용하여 훈련 데이터에서 필요한 정보를 추출하고 장치의 성능을 향상시킴
•
마지막으로, 재구성된 HRMS 이미지에 손실 함수가 적용되어 훈련을 지도함
기술의 특징
•
양방향 순환 팬샤프닝 네트워크를 통해 임의의 수의 대역으로 고해상도 다중 스펙트럼 이미지를 정확하게 재구성할 수 있음
•
잔차 예측과 마스크 훈련을 활용하여 실제 이미지와 저해상도 이미지 사이의 차이를 보정하고, 필요한 정보를 추출하여 장치의 성능을 향상시키며, 계산 부담을 줄이고 0 패딩의 영향을 피할 수 있음
실험 및 결과
실험 목표 및 방법
•
이 기술의 목적은 고해상도 다중 스펙트럼 이미지를 재구성하는 장치의 성능을 검증
•
실험은 컴퓨팅 장치와 컴퓨터 소프트웨어를 사용하여 항공 영상을 입력으로 사용하고, 이를 처리하여 고해상도 이미지를 생성하는 과정을 통해 장치의 성능을 검증
•
산출된 고해상도 이미지는 실제 이미지와 비교하여 장치의 성능을 평가
실험 결과
•
이 기술을 통해 임의의 수의 대역으로 고해상도 다중 스펙트럼 이미지를 정확하게 재구성할 수 있음이 확인됨
•
잔차 예측과 마스크 훈련을 통해 실제 이미지와 저해상도 이미지 사이의 차이를 보정하고, 필요한 정보를 추출하여 장치의 성능이 향상됨을 확인함
•
따라서, 이 기술은 다중 스펙트럼 이미지의 고해상도 재구성에 효과적임
발명의 활용 방안
항공 영상 분석 적용
•
스펙트럼 종속성을 완벽하게 탐색하는 본 발명을 활용하면 ArbRPN 아키텍처를 통해 더 나은 성능을 얻을 수 있음
•
고해상도 다중 스펙트럼 이미지를 활용하는 항공 영상 분석에 적용 가능함
기대효과
기술적 혁신과 사회적 가치
•
스펙트럼 종속성을 완벽하게 탐색하는 본 발명을 통해 더 나은 성능을 얻을 수 있으며, 고해상도 다중 스펙트럼 이미지를 활용한 항공 영상 분석에서 높은 성능 발휘 가능함
•
이를 통해 항공 영상 분석의 효율성과 정확성을 향상시키며, 다양한 분야에서 활용 가능하여 사회적 가치와 이익 창출 가능함
장래의 전망
•
본 발명의 기술은 고해상도 다중 스펙트럼 이미지 분석의 효율성과 정확성을 향상시키며, 항공 영상 분석의 다양한 분야에 활용될 것으로 기대됨
시장 동향
딥러닝 시장 동향
기술 SWOT 분석
Strengths
임의의 대역 고해상도 이미지 재구성
•
양방향 순환 팬샤프닝 네트워크를 통해 임의의 수의 대역으로 고해상도 다중 스펙트럼 이미지를 정확하게 재구성할 수 있습니다.
성능 향상 및 계산 부담 감소
•
잔차 예측과 마스크 훈련을 활용하여 실제 이미지와 저해상도 이미지 사이의 차이를 보정하고, 필요한 정보를 추출하여 장치의 성능을 향상시키며, 계산 부담을 줄일 수 있습니다.
Weaknesses
기술적 복잡성
•
이 기술은 복잡한 수학식을 통해 정의되는 각 유닛의 동작, 마스크 훈련을 사용하는 등의 복잡한 구현 방법이 필요하므로, 이해와 적용이 어려울 수 있습니다.
Opportunities
항공 영상 분석 적용
•
이 기술은 고해상도 다중 스펙트럼 이미지를 활용하는 항공 영상 분석에 적용 가능하여, 항공 영상 분석의 효율성과 정확성을 향상시킬 수 있습니다.
Threats
기술적 난이도
•
이 기술의 구현과 적용은 복잡한 수학식과 알고리즘을 이해하고 적용하는 높은 기술적 난이도를 요구하므로, 이를 극복하지 못하는 경우 기술의 활용이 제한될 수 있습니다.
Summary
Strengths
•
임의의 대역의 고해상도 이미지를 정확하게 재구성할 수 있으며, 잔차 예측과 마스크 훈련을 통해 성능을 향상시키고 계산 부담을 줄일 수 있습니다.
Weaknesses
•
이 기술의 구현과 적용은 복잡한 수학식과 알고리즘을 이해하고 적용하는 높은 기술적 난이도를 요구합니다.
Opportunities
•
이 기술은 고해상도 다중 스펙트럼 이미지를 활용하는 항공 영상 분석에 적용 가능하여, 항공 영상 분석의 효율성과 정확성을 향상시킬 수 있습니다.
Threats
•
이 기술의 구현과 적용은 복잡한 수학식과 알고리즘을 이해하고 적용하는 높은 기술적 난이도를 요구하므로, 이를 극복하지 못하는 경우 기술의 활용이 제한될 수 있습니다.
대표도면
인천대학교 산학협력단
(21999) 인천광역시 연수구 갯벌로 27(송도동) INU이노베이션센터 206호
본 메일은 마케팅 활용 동의서에 동의하신 회원님께 전송된 것입니다.
COPYRIGHT (c) 2023 Incheon National University. ALL RIGHT RESERVED.