毎月20ドルを課金されますが ChatGPT Plusにバージョン・アップすると、ChatGPT4経由でDALL-E3(ダリと呼称)という画像生成サービスが使用可能となります。入力する文字列に応じてテキスト、画像での出力がシームレスに実行されるようになっています。
2023年の11月初頭は一度に4枚の画像を生成してくれましたが11月の半ば以降は一度の入力に対して1枚しか描いてくれません。ChatGTPに訊いたところ生成するための様々なリソースが逼迫しているためだとのことです。(まだ2枚描いてもらえるユーザーも居ましたが)
上の図のようにDALL-E3は”Transforme”というAIモデルが採用されていています。
トランスフォーマーモデルは、入力層、アテンション機構、エンコーダ・デコーダ構造、出力層などのコンポーネントで構成されています。
“Transform”は、自然言語処理(NLP)や画像生成などの分野で使用される重要なコンセプトです。
この言葉は、トランスフォーマー(Transformer)モデルに関連しています。
トランスフォーマーは、注意機構(Attention Mechanism)を用いて、大量のデータから複雑なパターンを学習する能力を持ちます。
Googleの研究チームによって初めて紹介され、以来、テキスト、音声、画像など多様なデータを扱う様々なAIアプリケーションで広く使用されています。
GPTシリーズ(GPT-3, GPT-4など)やBERT、DALL-Eなどがトランスフォーマーベースのモデルです。
合成開口レーダーのような変位測定機器で山の変位や、老朽化した鉄道の橋脚の振動(変位)をイメージングした時の概念図も簡単に作れます。
災害時におけるドローン調査の想像図を描かせたり。
ChomeBook用のドローン操縦シミュレータのUIを描かせたり。
ドローン操縦の講習会の座学会場で使われる50インチモニターに臨場感がある画像を描かせたり。
そのままJavaScriptで3Dレンダリング、シミュレーションの物理計算、レンダリングループの基本的な設定のサンプルコードを書かせたりもできます。
但し、JavaScriptのサンプルコードを生成してくれますが、これはトレーニングデータとアルゴリズムに基づいたもので生成されたコードは一般的なプログラミングの知識や標準的なコーディングパターンに基づいています。
ChatGPTではPythonのコードの実行が可能な状態になっています。
この機能を利用して、簡単なPythonスクリプトをテストしたり、データ分析や数学的計算を行うことができます。
しかし、Python以外の言語でのコード実行や複雑なプログラミングタスクの実行はサポートされていません。
「Code Interpreterを起動!」と書き込みめば「Code Interpreterが起動されました!」と答えてくれました。
ドローンのFPV動画データをAIで解析し「教室に散らばったレゴ・ブロックを拾って白いテーブルの上に置いて」といった作業をプログラミングなしで実行したりできるようになると思います。
教師は慣れないプログラミングに要する時間が不要になり、より創造性の高い授業ができるようになると思います。
アイデアを具現化の初期段階にはとても便利だと思います。