OpenAIは米国時間7月18日に「GPT-4o mini」を発表しました。
GPT-3.5 Turbo よりも大幅に賢く、そして安価に。また、同等の速さを持つとのことです。
出力トークン量に関しても16000トークンの出力ができるため一回で大きな出力が可能となります。
OpenAIブログ:https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence
以下は料金ページです。最新の料金に関しては以下をご確認ください。
料金表：https://openai.com/pricing
これを踏まえて、発表現在での主要モデルのAPI料金を比較してみました。
API料金一覧
モデル | 入力料金 (100万トークン) | 出力料金 (100万トークン) | 入力コンテキスト | 最大出力トークン |
|---|---|---|---|---|
| GPT-4o | $5.00 | $15.00 | 128K | 4K |
| GPT-4o mini | $0.15 | $0.60 | 128K | 16K |
| GPT-3.5 Turbo | $0.50 | $1.50 | 16K | 4K |
| Claude 3.5 Sonnet | $3.00 | $15.00 | 200K | 8K |
| Claude 3 Haiku | $0.25 | $1.25 | 200K | 4K |
| Gemini 1.5 Pro | $3.50 | $3.50 | 1M | 8K |
| Gemini 1.5 Flash | $0.35 | $1.05 | 1M | 8K |
Anthropic:
https://docs.anthropic.com/en/docs/about-claude/models
Generative AI on Vertex AI:
https://cloud.google.com/vertex-ai/generative-ai/docs/learn/models?hl=ja
GPT-3.5 Turboは過去のものとなりそうです。現在使っているシステムでも4o-miniに切り替えたほうがよさそうです。
なお、miniとはいえ精度はそこそこでそれで料金が4oと比べると入力3％。出力4%。という異常な料金の安さです。
結果しては、
・高度な作業は「Claude 3.5 Sonnet」
・簡単な作業は「GPT-4o mini」
が現状の使いやすい状況かなと思います。ただ精度次第ではAPI利用は4o miniだけで成立するかもです。
GPT-4o mini登場で何が変わるのか。
結論としては、通常の利用ユーザーにそこまでの変化はないかなという印象です。
というのも、回答精度だけの観点でみれば通常の GPT-4o の方が優秀であることは変わりありません。
そのため、わざわざ変える必要はないからです。ただ、大きく影響を受ける可能性があるのは「APIを使ったシステム開発構成」です。
例えば、大きな文字起こしした動画のテキストなどは、Geminiの巨大入力トークンの力を利用したいところです。ただ、出力回数が多く、試行回数が多いシステムを作りたいとなると料金の安い4o miniが適してくる印象ではあります。
というのも、今まで高度モデルを使おうとすると料金面が一番の問題点でした。
実際に何かを作りたいとなると思ったよりも料金が高い印象でした。
そういった際にはオープンソースLLMを利用するというのも手でしたが、精度はAPI型に劣る印象で、また、オープンソースLLMを導入しようとすると導入難易度の障壁も出てきます。
そういった点を踏まえると今回の4o miniは印象的で、また以下のようなケースでの利用が変わるかもしれません。
1.GPT3.5torboを利用していたケース
これは言わずもがなです。料金が安く精度が高ければ利用しない手はありません。
2.オープンソースLLMを検討していたケース
従来オープンソース型モデルを利用することでコスト面はかなり抑えられました。
ただ、やはり回答精度や日本語に対するところは課題が大きかったです。
そこを4o miniによって置き換えるようなケースが増えてくると思います。
3.長い出力トークンが必要なケース
これは4o miniの16Kトークンという大きな出力量です。
その結果、コードなどの出力を行う場合に長いコードが生成できるので、そのような利用ケースで重宝される可能性があります。また精度面の問題ですが、おそらく今後「エージェント型AI」の構築が進むと考えられます。そのため、その点は自律型によって試行回数でカバーしていくのも想定できます。
4.Poc時の利用時や初期導入時
実証検証の段階だとできる限り料金や、開発コストを抑えたいものです。そのようなケースではとりあえず4o miniを使うというケースは多くなりそうです。
さらには特に企業文化によっては未知のことに対するトライでも、短期的な利益に固執し、長期的な成長やイノベーションの機会を見逃す、まさに「目標のないROI」を求めてくるケースがあるかと思います。
そういった際には4o miniのコストの低さを利用することで、十分な精度と料金で利用を始める。そして活用を促進することが可能になるかもしれません。
「Instruction Hierarchy」について
なお、GPT-4o miniは、OpenAIとして「Instruction Hierarchy」（指示階層・命令階層）方式を適用した最初のモデルといわれています。
Instruction Hierarchyとは、大規模言語モデル(LLM)における命令の優先順位付けのことです。
システムメッセージ（開発者からの指示）を最優先とし、ユーザーメッセージは次に高い優先順位などとすることで、プロンプトインジェクションやジェイルブレイクなどの攻撃に対する耐性を向上させるというものです。そのため、大規模なアプリケーションでの使用がより安全になると期待されている点です。
これを踏まえるとおそらく、やはり推測されるのが「エージェント型AI」での利用です。
LLMがLLMをチェックし、自動化させ自律する。そうなると問題となってくるのが試行回数増大による料金でした。
今までの料金だと高額な料金がかかっていたものをオープンソースLLMで実現するのも一つの手でしたが、それをAPI型で実現する。そのような未来を想定しているのかもしれません。
ちなみに大規模システムであれば以下のようなBatch APIという仕組みを使うことでさらにコストを下げることもできます。
https://platform.openai.com/docs/guides/batch/overview
OpenAI 発表内容要約
本文
Hi there,
Exciting news! Today we introduced GPT-4o mini—our new affordable and intelligent small model that’s significantly smarter, cheaper, and just as fast as GPT-3.5 Turbo—and launched it in the API. Here’s what you need to know:
Intelligence: GPT-4o mini outperforms GPT-3.5 Turbo in textual intelligence (scoring 82% on MMLU compared to 69.8%) and multimodal reasoning.
Price: GPT-4o mini is more than 60% cheaper than GPT-3.5 Turbo, priced at $0.15 per 1M input tokens and $0.60 per 1M output tokens (roughly the equivalent of 2500 pages in a standard book).
Modalities: GPT-4o mini currently supports text and vision capabilities, and we plan to add support for audio and video inputs and outputs in the future.
Languages: GPT-4o mini has improved multilingual understanding over GPT-3.5 Turbo across a wide range of non-English languages.
With its low cost and latency, GPT-4o mini works well for high-volume tasks (e.g., passing a full code base or conversation history to the model), cost-sensitive tasks (e.g., summarizing large documents), and tasks that require fast responses (e.g., customer support chatbots). Like GPT-4o, GPT-4o mini has a 128k context window, supports up to 16k output tokens per request, and has a knowledge cut-off date of October 2023. We plan to launch fine-tuning for GPT-4o mini in the coming days.
We recommend developers using GPT-3.5 Turbo switch to GPT-4o mini to unlock higher intelligence at a lower cost. You can use GPT-4o mini in the Chat Completions API and Assistants API, or in the Batch API where you get a 50% discount on batch jobs completed asynchronously within 24 hours. To get started, test the model in Playground and check out our API documentation.
To learn how to use vision with GPT-4o mini, check out the Introduction to GPT-4o and GPT-4o mini in the cookbook. If you have questions, please reach out in the OpenAI developer forum.
Happy building!
—The OpenAI team
要約内容
やぁ
朗報です！本日、私たちは GPT-4o mini を発表しました。これは新しい手頃な価格のインテリジェントな小型モデルで、GPT-3.5 Turbo よりも大幅に賢く、安価で、同等の速さを持つモデルがAPI で公開されました。以下が重要なポイントです：
- 知能： GPT-4o mini は、テキストの知能（MMLU で 82% のスコアを獲得、GPT-3.5 Turbo の 69.8% と比較）およびマルチモーダル推論において GPT-3.5 Turbo を上回ります。
- 価格： GPT-4o mini は GPT-3.5 Turbo よりも 60% 以上安価で、入力トークン 100 万件あたり 0.15 ドル、出力トークン 100 万件あたり 0.60 ドルの価格設定です（標準的な本の約 2500 ページに相当）。
- モダリティ： GPT-4o mini は現在、テキストと視覚機能をサポートしており、将来的には音声と動画の入出力のサポートを追加する予定です。
- 言語： GPT-4o mini は、幅広い非英語言語において GPT-3.5 Turbo を上回る多言語理解能力を持っています。
低コストと低遅延により、GPT-4o mini は高ボリュームのタスク（例：完全なコードベースや会話履歴をモデルに渡す）、コスト重視のタスク（例：大規模文書の要約）、迅速な応答を必要とするタスク（例：カスタマーサポートチャットボット）に適しています。GPT-4o と同様、GPT-4o mini は 128k のコンテキストウィンドウを持ち、リクエストあたり最大 16k の出力トークンをサポートし、2023 年 10 月の知識カットオフ日を持っています。数日以内に GPT-4o mini のファインチューニングを開始する予定です。
GPT-3.5 Turbo を使用している開発者には、GPT-4o mini に切り替えて、より低コストでより高い知能を活用することをお勧めします。GPT-4o mini は、Chat Completions API と Assistants API で使用できるほか、Batch API でも使用可能で、24 時間以内に非同期で完了するバッチジョブに 50% の割引が適用されます。
開始するには、Playground でモデルをテストし、API ドキュメントをご確認ください。GPT-4o mini での視覚機能の使用方法については、クックブックの「GPT-4o および GPT-4o mini の紹介」をご覧ください。ご質問がある場合は、OpenAI 開発者フォーラムでお問い合わせください。
素晴らしい開発を！
—OpenAI チーム
その他詳細については下記OpenAIブログをご確認ください。
OpenAIブログ:
https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence
あわせて読みたい注目記事
資料
ダウンロード
マスターデータのメンテナンスに関わる機能をまとめたSaaS「SMOOZ」
SMOOZはリレーショナルデータベースの課題を解決するサービスです。
ご興味ございましたら資料をダウンロードください。