Kudanはこの度「Kudanの視点〜Kudan CTOが読み解くセマンティック情報によるデジタルツインの強化〜」と題した記事を公開しましたのでお知らせします。

「機械の眼」である人工知覚（AP）と「機械の脳」である人工知能（AI）の結びつきは近年急速に強まっており、Kudan技術の応用が進むロボティクスやデジタルツイン領域において、先進的な構想が拡大しています（過去記事参照）。その中で、当社は、これまで注力してきた人工知覚（AP）の独自技術の提供に加えて、新たに人工知覚（AP）と人工知能（AI）の融合による革新的な価値の創出を成長戦略の一環として推し進めております。

人工知覚と人工知能の融合による革新的な価値創出（2024年3月期決算資料から抜粋）

今回の「Kudanの視点〜Kudan CTOが読み解くセマンティック情報によるデジタルツインの強化〜」においては、Kudanが展開するデジタルツインサービスを強化するための、セマンティック情報（3次元空間データの意味合い付けや物体認識をサポートする情報）に関する最新の技術動向の解説をします。

---

Written by Anthony Glynn, Kudan CTO

セマンティック情報によるデジタルツインの強化

料理を作るための役割を持ったロボットを想像してください。このロボットが目的を達成するには、まずキッチンに行く必要があります。そのためには、ロボットが自分の内部マップに「キッチン」という概念を含めておく必要があります。また、ロボットは、戸棚やキッチン家電などを見て、そこがキッチンだと認識することができます。

次に、ロボットは仕事を進めるために必要な物を探し、それらがどこにあるかを推測しなければなりません。例えば、包丁は引き出しに入っているかもしれないし、特定の食材は冷蔵庫にある可能性が高いです。また、オーブンのドアを開けるための取っ手や温度を設定するダイヤルなど、道具の使い方も理解しなければなりません。

このように、デジタルツイン（現実世界をデジタルで再現したモデル）に、空間の中身やそれが何に使えるのか、どうやって使うのかといった意味（専門的に、セマンティック情報といいます）を含めることが重要になってきています。

デジタル空間への意味付け

デジタル空間に意味を持たせる方法は、簡単なものから複雑なものまで様々です。例えば、物の位置を示すシンプルな枠を使うだけで、ロボットが空間を移動したり物を操作したりするのに必要な情報を提供できる場合もあります。

しかし、もっと複雑なシナリオでは、3D空間の中の特定のポイントや領域を、物の種類ごとにラベル付けする必要があるかもしれません。さらに難しいのは、どんなラベルが必要か事前にはっきりしない場合です。このようなときには、現場で状況を見て判断したり、中間的な情報だけを先に地図に記録して、後から詳細を追加したりする柔軟な方法が必要です。

3D技術を使って情報を処理するのは強力ですが、これを実現するためのデータを集めるのはまだ難しいです。一方で、2D画像を扱うモデルはより成熟しており、入手も容易です。そこで、カメラで得た2D画像と3Dマップを組み合わせる方法が有効です。

言語モデルの活用

近年の大規模言語モデル（LLM）の開発は、セマンティック手法の進展を大きく加速させました。これらのモデルは、言葉の関係を捉えたデータを生成し、それを画像など他のデータと組み合わせることで、異なる種類のデータをうまく連携させることができます。システムが物やその使い方を理解する際、視覚情報と言語情報の両方が役立つのです。

この種の基盤モデルは構築とトレーニングに多大なコストがかかります。我々はこれらのモデルを自ら構築する競争に参加するのではなく、むしろ新しい改良モデルが継続的にリリースされる恩恵を享受する立場を目指しています。

セマンティクス情報による使いやすさと堅牢性の向上

セマンティック情報をデジタル空間に組み込むことで、ロボットの操作性や使いやすさが大幅に向上します。人間は言葉を使って自然にコミュニケーションをとるため、ロボットとの対話にも言葉が使われるのが理想的です。また、タスクを計画して実行するためのロボット制御システムにも、最近はLLMが組み込まれています。空間情報にセマンティック情報を付与することで、システムはより複雑な作業をこなし、直感的に環境と関わることができるようになります。

さらに、セマンティック理解は堅牢性を向上させることも可能です。例えば、Neural Radiance Fields（NeRF）やGaussian Splattingといった現実の空間を詳細に再現する技術が進む一方で、環境が変化した場合にその場所を認識しにくくなるという問題があります。しかし、人間は、たとえレストランの見た目が違っていても、テーブルや椅子、食器などからそれがレストランだと認識できます。同様に、高次元のセマンティック情報を利用することで、環境が大きく変わってもシステムが場所を特定できるようになるのです。例えば、日中にマップされたエリアを夜間に認識することも可能です。

セマンティクスは、システムが何に注意を払うべきかを理解することで、堅牢性をさらに向上させることができます。すべての物が同じ重要度を持っているわけではありません。例えば、システムが屋外をマッピングしていて駐車中の車を見かけた場合、その車は動く可能性が高いため、位置特定の際には無視するほうが賢明です。このように優先順位を付けることで、システムはより安定した重要な情報に集中でき、全体的な性能と信頼性が向上します。

結論

Kudanでは、デジタル環境に豊富なセマンティック情報を埋め込んだ、Semantic Digital Twin（SDT）技術の開発に成功しています。セマンティック情報を活用することで、私たちが開発しているシステムは、よりスマートで効率的に、現実世界のタスクをこなせるようになります。現在、これらの機能を実証するためのプロジェクトを顧客と共に進めています。

■お問い合わせ先はこちら