テキストから動画 AI とは?

やさしい解説:テキストから動画 AI とは何か、プロンプトをどう動くクリップに変えるか、実例、得意・不得意、そして画像から動画との違い。

テキストから動画は、書いた説明を短い動くクリップに変える AI です。一文を入力すると——「夕暮れの雨樋を漂う紙の舟」——モデルがそれを生き生きとさせるフレームを生成します。カメラも素材も編集ソフトも要りません。

このページは発想を説明します。実際に作る準備ができたら、テキストから動画の基本へ飛んでください。

やさしく言うと、どう動くのか

テキストから動画モデルは、説明とペアになった膨大な量の動画で学習されています。そこから、世界のものがどう見え、どう動くか——水がどう流れ、顔がどう向き、光が面をどう滑るか——を学びます。

プロンプトを与えると、既存のクリップを繋ぎ合わせるのではありません。一から新しいフレームを生成し、あなたの言葉に合いつつフレーム間で物理的に一貫した連なりを予測します。結果は、これまで存在しなかったオリジナルのクリップです。

生成すると何が起きるか

具体的には、プロンプトを入力して Generate を押すと:

  1. いくつか設定を選びます——モデルアスペクト比(例:9:16)、長さ、一部のモデルでは音声
  2. モデルはプロンプトを読み、数秒分のフレームの連なりを生み出します。
  3. 短い待ち(モデルと長さ次第で数秒から 1 分)ののち、クリップが現れます——ダウンロード・編集・延長できる状態で。
*「子犬のコーギーが日の当たるビーチをカメラに向かって走る、スローモーション、巻き上がる砂、9:16、5 秒」*のようなプロンプトは、モデルに被写体・アクション・カメラとの関係・フォーマットを与えます——ショットを生み出すのに必要なすべてです。

得意なこと——そして不得意なこと

得意:

  • アイデアだけから、ルックや一瞬を素早く呼び起こす。
  • B ロール、状況説明ショット、ムードピース、SNS クリップ。
  • 確定する前に、多くのバリエーションを安く探る。

まだ難しい:

  • 長く完璧に一貫した物語——クリップはたいてい数秒です。
  • 正確な文字、精密なロゴ、手のような細部は揺れることがあります。
  • すべての要素を文字通り制御すること;あなたは有能だが即興的な協働者を演出しているのです。
メモ
プロンプトは命令というより、撮影クルーへの演出だと考えましょう。描くショット——被写体、1 つのアクション、カメラ、光——が明確なほど、結果は近づきます。3 つの場面を詰め込めば、ぐちゃぐちゃになります。

テキストから動画 vs 画像から動画

この 2 つは兄弟です。

  • テキストから動画は、あなたの言葉からすべてのフレームを創ります。自由度は最大、正確なルックの制御は弱め。
  • 画像から動画は、あなたが渡す静止画から始めてそれを動かします。最初のフレームが画像に固定されるので、ルックの制御は最大。

よくあるワークフローは両方を使います:画像ジェネレーターで気に入ったフレームを生成し、それを動かす。

Sunra で試す

Sunra はテキストから動画を 1 つの動画ジェネレーターで動かし、そこでモデルを——それぞれの強みごとに——切り替えられます:カメラ制御なら Veo 3.1世界に忠実な物理表現なら Sora 2マルチショットの語りなら Kling 3.0、速い縦型クリップなら Seedance 2.0。どれを選ぶかを理解するにはモデルの選び方を、的確なプロンプトを書くには動画のプロンプト術を読んでください。

関連記事