Kudanはこの度「Kudanの視点〜Kudan CTOが読み解くロボットとデジタルツインのためのNVS」と題した記事を公開しましたのでお知らせします。

「機械の眼」である人工知覚（AP）と「機械の脳」である人工知能（AI）の結びつきは近年急速に強まっており、Kudan技術の応用が進むロボティクスやデジタルツイン領域において、先進的な構想が拡大しています（過去記事参照）。その中で、当社は、これまで注力してきた人工知覚（AP）の独自技術の提供に加えて、新たに人工知覚（AP）と人工知能（AI）の融合による革新的な価値の創出を成長戦略の一環として推し進めております。

人工知覚と人工知能の融合による革新的な価値創出（2024年3月期決算資料から抜粋）

今回の「Kudanの視点〜Kudan CTOが読み解くロボットとデジタルツインのためのNVS〜」においては、2D画像・動画のAI処理に対して、大きく劣後している3D空間情報処理の発展のハードルとなっている根本問題を解決可能なNVS（Novel View Synthesis：新規視点合成）をはじめとする最新技術と、それに関わるKudanの技術構想の解説をします。

---

Written by Anthony Glynn, Kudan CTO

ロボットとデジタルツインのためのNVS

Neural Radiance Field（NeRF）とGaussian Splattingは、最近多くの関心を集めている技術です。これらは、NVS（Novel View Synthesis：新規視点合成）を目的とした技術で、異なる視点からの画像を使って、実際に存在しない角度からの新しい画像を生成することができます。NeRFの登場は、この分野において大きな進歩をもたらしました。NeRFとGaussian Splattingはそれぞれ異なる特徴を持ち、3D画像とデジタルデータ作成の新しい可能性を広げています。

NeRFとGaussian Splattingは、視覚的に美しい画像を生成するだけでなく、いくつかの現実的な課題にも対処します。AIモデルは大量のデータを必要としますが、特定のロボット用途にはそれに特化したデータが求められます。例えば、人を認識するAIは通常、頭の高さから撮影された画像を使って訓練されますが、床近くにカメラを取り付けた小型ロボットからの画像ではうまく機能しないことがあります。この場合、新しい視点に適応するための追加データが必要です。

NVSを使えば、カメラ位置を正確に知ることができるため、高精度なデータを得ることができます。シミュレーションはデータ不足を補うための一般的な方法ですが、シミュレーションと現実の間にはギャップがあります。NeRFとGaussian Splattingは、このギャップを埋め、よりリアルな合成画像を生成します。

Kudanの技術を使ったモバイルマッピングやデジタルツイン技術は、NeRFやGaussian Splattingを大きく進化させることができます。これらのNVS技術は、トレーニング画像の正確な位置情報を必要としますが、KudanのSLAM技術を使えば、より正確な位置情報を提供できます。さらに、LiDAR点群データを使ってGaussian Splattingの計算を最適化することも可能です。

加えて、デジタルツインや点群データをより意味のある情報で強化する方法も模索されています。SLAMによって強化されたNVSは、2Dと3Dの橋渡しとして重要な役割を果たします。3Dデータを直接処理するAIモデルもありますが、現在は2Dデータの方が成熟しています。NVSを使えば、2Dデータを活用して3Dデータを効果的に利用できるようになります。2Dデータ用の画像を生成するだけでなく、3Dデータの訓練にも役立つことが期待されます。

NeRFとGaussian Splattingは、NVSにおける重要な技術進歩を象徴しています。この分野は今後も活発に進展し、これらの技術をさらに改良したり、ハイブリッドアプローチを探る研究も進んでいます。技術の進化により、NeRFはより高速になり、Gaussian Splattingはよりコンパクトになり、大規模な環境でも使用できるようになるでしょう。Kudanはこれらの技術革新がもたらす新しい価値創出に期待しており、マッピングや知覚における潜在的な影響を最大化するための研究開発を進めていきます。

【Ｋｕｄａｎ株式会社について】
Kudanは、人工知覚（AP）のアルゴリズムを専門とする深層技術の研究開発企業です。人工知覚（AP）は、人工知能（AI）と相互補完する技術として、機械を自律的に機能する方向に進化させるものです。現在、Kudanはロボティクス・デジタルツイン・自動運転などを中心に幅広い次世代ソリューションに対して技術ライセンスを提供しています。詳細な情報は、Kudanのウェブサイト（https://www.kudan.io/jp/）をご参照ください。

■会社概要
会　社　名： Ｋｕｄａｎ株式会社
証券コード： 4425（東証グロース）
代　表　者： 代表取締役CEO　項 大雨

■お問い合わせ先はこちら