2023年5月31日水曜日

2023/5 AI関連支出

今月の生成AI関連の出費を振り返っていく。「推しは推せるときに推せ」ではないけれど、いまは暇さえあれば全力で色々なGenerative AIのサービスを触っていきたいし、自分でコードを書いて実世界のデータで動かしてもみたい。ほぼ無限予算をあてているので支出は増える一方だけど気にしない!

GitHub Copilot
$10

ChatGPT Plus
$20

ChatGPT API
$33.14

aaa_20230531203351c94.png

Google Cloud Platform (研究アプリの実行環境)
ウェブアプリのサーバーや写真データのストレージなど、機械学習に直接的に関連しないサービス利用料金も含む。
6,600円

スクリーンショット 2023-05-31


合計
1ドル=140円 換算
(10 + 20 + 33.14) * 140 + 6600 = 15,439円


大変ですね!!!!

2023年5月17日水曜日

早起き

ここ数日、 なぜか早起きに成功している。街と一緒に起きるといろいろな音が聞こえてくる。街に包まれながらコードを書く。

2023年5月11日木曜日

一周まわって生成AIの使い所はなんだっけ

画像の生成系は自分の予想以上のクリエイティビティとコントローラビリティを発揮していていい感じ。自然文に関しては、滑らかに大量の作文ができて凄いだけ?という第一印象そのままかもしれない。ちょっとしたアイデア出しに付き合ってもらったり、ラフなたたき台を作ったり、日常のどうでもいいこと(夕飯のメニューなど)の意思決定コストを下げるために使うのにはちょうどいい。ただ、少しでも専門的で込み入ったものや正確性を求める話題になると制御が難しくなる。回答の根拠となる長いコンテキストや複雑な知識を与えるのが難しい。ChatGPTに聞くよりも自分の大学・大学院時代のノートに尋ねるほうが良い答えが返ってくる。

別の視点として、日本語を扱うには形態素解析〜係り受け解析という手順を踏まないといけない、というNLP界のこれまでの前提を覆したのが凄いのではないかという友人の話には納得した。一文の解析に躍起になるよりも、大量のデータから訓練したLLMを使って全体のなかでの対象の位置づけから文章の意図を理解する、的ないい発明だった。精度的にも価格的にも高級な意味解析器が手に入ったと理解しておくのが良いのかもしれない。

ChatGPTだけを使って自然文の生成技術を評価するのはフェアではないので、Transformerをベースとする他のモデルのAPIも試してみたい。今夜開催されるGoogle I/O 2023で、グーグル製の大規模言語モデル「PaLM」に関する刺激的なニュースがあることを期待している。

2023年5月6日土曜日

生成AIたわむれ日記

生成AI系のサービスで遊ぶのに忙しい日々。Bing AIの扱いにも慣れてきて、ベータ版のBardの提供も始まった。画像生成系もいろいろ試している。この手のアプリは最近は https://beta.dreamstudio.ai/ がお気に入り。
相変わらずGitHub Copilotには個人開発のコードのたたき台を書かせているし、ChatGPTで雑談やアイデア出しもしている。AIの力でビットマップ画像をベクター画像に変換するサービス https://vectorizer.ai/ も出てきており、今日も3時間くらい夢中になって実験した。ベータ提供中につき、無料で使える。最初からAPIも整備されていて素晴らしい。論文等は見つからず詳細な仕組みはよくわからない。SVG Screenshotプロジェクトで探し求めていた最後のピースになり得るかもしれないので注目している。

2023年4月10日月曜日

やる気がでないときは本を読む

インプットが不足したり摂取する知識のバランスが極端に崩れると不調になる。専門分野に浸かりすぎると自然と不安がこみ上げてくる。最寄り駅のカフェで今後の生き方を考えていた帰り道にふと書店を見つけ、久しぶりに紙媒体の文庫本を買った。ちょっとデジタルに触れない時間を作るのもいいだろう。何事もほどほどに。

2023年3月14日火曜日

NLP2023 緊急パネル: ChatGPTで自然言語処理は終わるのか? を聴講した

言語処理学会第29回年次大会 (NLP2023) で緊急開催されたセッションを聴講した。こんにちのChatGPTやGPT-3.5 APIが爆発的な普及を鑑みて、昼休憩の時間帯に急遽差し込まれるかたちで実施された。NLPの名だたる研究者らが、この乱世を捉えるための論点を提供してくれた。スピード感が伝わってくる歴史的な大会となった。

大規模言語モデルの発展によって自然言語処理(NLP)の方法論は大きく様変わりした.中でもOpen AIから発表されたChatGPTは言語モデルの利用方法を飛躍的に拡げ,世間からも大きな関心を集めている.ChatGPTに代表される巨大言語モデルの出現でNLPはどう変わるか,はたまた終焉をむかえるのか? 

「実社会での実応用が先行して実施された、やや異常事態」という表現が納得感があった。もっと言うと、最新の尖った技術がギーク層を飛ばしていきなり一般層に普及したわけで、これも珍しい気がする。実際のところ原理もよく分からないうえ、誰も試行錯誤する間もなく、真の向き合い方を知らない状態で一気に繁殖を遂げた。やばい話にも聞こえる。

FrJ98ngaYAElpGs.jpg FrJ99FgakAA9C0R.jpg

この時代を我々はどう生きるか。今日まで抱えていたもにょもにょしていた感覚が自分の中で言語化されてきた。大変勉強になった。近日中に録画も公開されるようなので、ぜひ観てほしい。

2023年3月13日月曜日

言語処理学会第29回年次大会 (NLP2023) に参加

沖縄コンベンションセンターで開催されている言語処理学会に参加している。検索、埋め込み、質問応答、地理空間情報との融合あたりの研究を重点的に聴講する予定。

FrGRMPtaUAAtHoj.jpg FrJQ0AHagAAgEVe.jpg

今日から一週間、沖縄を楽しむぞ〜🌺

技書博9にサークル参加します

11/25 (土) に開催される第九回 技術書同人誌博覧会にサークル出展します。久しぶりに 東京で 技術同人誌を売ります!! https://gishohaku.dev/ ソフトウェアエンジニアとして生成AI(おもに大規模言語モデル)に慣れるまでの過程で試行錯誤したことや、自作の...